Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- bastion host
- cmd
- vector
- 온프레미스
- dreamhack
- RIP
- 네트워크
- 자바
- vlan
- 인공지능
- 스위치
- Reversing
- Screening Router
- 크롤러
- Java
- 암호학
- STP
- AWS
- 라우터
- 머신러닝 프로세스
- Repository
- abex'crackme
- CISCO
- AI
- Python
- Firewall
- 머신러닝
- 리버싱
- docker
- Mac
Archives
- Today
- Total
목록bs4 (1)
Haekt‘s log
[Python3] 간단한 웹 크롤러 만들기
웹사이트의 html 및 js 코드를 크롤링 해보자. - 필요한 사전 지식 크롤링 : WWW 를 탐색해 나가는 행위를 말한다. 파싱 : 자연어, 컴퓨터 언어 등의 문자열을 분석하는 프로세스를 말한다. 파서 : 파싱을 하는 프로그램을 말한다. - 사용한 라이브러리 urllib : http 관련 요청을 수행할 수 있게 도와주는 python 라이브러리 requests : http 관련 요청을 수행할 수 있게 도와주는 python 라이브러리 ( 쉽고, 안정적이어서 urllib 보다 더 잘 사용된다고 함.) BeautifulSoup(BS) : html 구조 해석을 도와주는 python 라이브러리 - BS 라이브러리 BS 는 사용자가 선택한 파서를 이용해 html 과 xml 코드를 파싱, 검색, 수정하는 기능을 제공..
언어/Python
2023. 3. 6. 00:46