Python - [크롤링 실습] selenium으로 번개장터 조회하기 2 (페이지 순환)

서론 지난 포스트에서는 단순하게 번개장터에서 검색 후 데이터를 취득하는 과정을 가지고 왔습니다. 단순히 처음 검색해서 나온 결과의 페이지에서만 데이터를 취득했습니다. 본문에서는 많은 이제 각각의 검색 결과의 모든 데이터를 취득하는 과정을 추가해 보도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득) 서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.comm.. blog-of-gon.tistory.com Get요청을 통한 페이지 순환 구현하기 번개장터를 통해 ..

2022.07.07

컴퓨터/Python

Commnet

Robots.txt ? (크롤링과 규약)

서론 Python을 통해 Web에서 여러 데이터를 스크래핑하며 크롤링을 하기 위한 공부를 하던 과정 중 의문점이 하나 생겼다. 다양한 봇에 대한 이슈를 들어왔는데, 과연 프로그램을 이용한 무분별한 Web 데이터를 다루는 것은 문제가 되지 않는가? 이런 BOT들에 대한 문제는 윤리적, 도덕적 문제뿐 아니라, 서비스를 제공에 장애를 방생하는 요인이기도 합니다. 본문에서는 이 Web에서 데이터를 취득하는 프로그램들에 대한 규약을 알아보도록 하겠습니다. 한정적인 서비스 자원 Web은 인터넷을 통해 정보를 취득할 수 있는 오늘날 가장 대표적인 창구 중 하나입니다. 서비스를 제공하는 서버 측에서 다양한 클라이언트의 요청을 처리하는 방식으로 이루어져 있습니다. 손쉽게 정보를 찾고, 취득할 수 있게 되어있죠. 대부분의..

2022.05.09

컴퓨터/Python

Commnet

Python - Web 크롤링/스크래핑/파싱(Crawling / Scraping / Parsing)

서론 앞으로 본격적으로 Python을 통해서 다양한 Web을 통해서 다양한 데이터를 크롤링, 스크래핑, 파싱을 할 것입니다. 결국은 Python을 통해 Web에서 정보를 취득하여 원하는 형태를 만들기 위한 과정입니다. 이를 다양한 언어로 표현하는데 차이와 특징에 대해서 알아보도록 합시다. 크롤링(Crawling) 수영 영법 등을 표현할 때 Crawl이라는 표현을 씁니다. 우리가 이야기하고자 하는 Webcrawling은 의역하자면, 정보의 바다인 웹을 가로지르는 영법이라는 의미를 가질 수 있습니다. 이 처럼 크롤링은 Web상에서 정보를 탐색하는 모든 행위를 의미합니다. 웹 크롤링을 한다 = 웹에서 정보를 탐색한다 추가로 웹 크롤러(crawler)라는 말은 이런 정보를 탐색하기 위한 다양한 프로그램을 의미합..

2022.04.06

컴퓨터/Python

Commnet