Python - [크롤링 실습] selenium으로 번개장터 조회하기 2 (페이지 순환)

서론 지난 포스트에서는 단순하게 번개장터에서 검색 후 데이터를 취득하는 과정을 가지고 왔습니다. 단순히 처음 검색해서 나온 결과의 페이지에서만 데이터를 취득했습니다. 본문에서는 많은 이제 각각의 검색 결과의 모든 데이터를 취득하는 과정을 추가해 보도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득) 서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.comm.. blog-of-gon.tistory.com Get요청을 통한 페이지 순환 구현하기 번개장터를 통해 ..

2022.07.07

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득)

서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys browser = webdriver.Chrome() browser.implicitly_wait(time_to_wait=10) browser.get('https://m.bunjang.co.kr/') 규약 확인하기 우선 크롤링을 사용해도 되는지 먼저 확인을 해보도록 하겠습니다. https://m.bunjang.co.kr/robots.txt에 들어가면..

2022.07.02

컴퓨터/Python

Commnet

Python - Selenium 맛보기 (동적 웹 페이지 크롤링)

서론 Python에서 Web의 데이터를 다루는 과정에서 Requests 라이브러리를 사용하는 방법은 한정적입니다. 특정 url에서 요청하여 이미 만들어진 HTML 문서를 가지고 와서 다루는 작용을 하기 때문입니다. 만약 javascript 등 다양한 방식으로 동적인 웹페이지를 다루기 위해서는 상당히 많은 제약조건이 발생합니다. 그래서 많은 개발자들은 사람이 크롬, 에지 등 웹브라우저를 작동하는 것처럼 Python에서 웹 브라우저를 작동하는 프로그램을 만들게 되었습니다. 이게 바로 selenium입니다. 본 문에서는 이 selenium에 대해 간략하게 알아보도록 하겠습니다. 이후 구동하고 본격적인 내용은 다른 포스트에서 다루도록 하겠습니다. 준비 Selenium을 사용하기 위해서는 2가지가 필요합니다. S..

2022.05.04

컴퓨터/Python

Commnet