Python - [크롤링 실습] selenium으로 번개장터 조회하기 4 (엑셀로 출력 및 데이터 조회하기)

서론 지난 포스트에서 Pandas에 데이터를 넣어보았습니다. 이제 Pandas를 통해서 정리된 데이터를 효율적으로 사용하는 방법에 대해서 알아봅시다. 본문에서는 Pandas의 몇 가지 기능을 알아보도록 할 것입니다. 우선, 취득한 데이터를 엑셀파일과 csv파일로 저장해보도록 하고, 두 번째로 검색 결과의 평균값, 최저값, 최고값을 구해보는 과정을 해보도록 합시다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 3 (Pandas로 정제) 서론 지난 실습에 이어서 번개장터에서 selenium을 통해 크롤링을 진행했습니다. 이 정보들을 그냥 출력을 해서 사용하는 것은 크롤러가 대신해서 정보를 구해와서 얻어오기는 하지만, 정보들을 blog-of-gon.tistory.com 엑셀 또는 cs..

2022.08.03

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 3 (Pandas로 정제)

서론 지난 실습에 이어서 번개장터에서 selenium을 통해 크롤링을 진행했습니다. 이 정보들을 그냥 출력을 해서 사용하는 것은 크롤러가 대신해서 정보를 구해와서 얻어오기는 하지만, 정보들을 효율적으로 사용하는 데에는 한계가 있습니다. 본문에서는 Pandas를 이용해 데이터를 정제하기 위한 과정을 준비해 보도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 2 (페이지 순환) 서론 지난 포스트에서는 단순하게 번개장터에서 검색 후 데이터를 취득하는 과정을 가지고 왔습니다. 단순히 처음 검색해서 나온 결과의 페이지에서만 데이터를 취득했습니다. 본문에서는 많 blog-of-gon.tistory.com Python - [Pandas]자료 분석을 위한 Pandas 기초 서론 P..

2022.08.02

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득)

서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys browser = webdriver.Chrome() browser.implicitly_wait(time_to_wait=10) browser.get('https://m.bunjang.co.kr/') 규약 확인하기 우선 크롤링을 사용해도 되는지 먼저 확인을 해보도록 하겠습니다. https://m.bunjang.co.kr/robots.txt에 들어가면..

2022.07.02

컴퓨터/Python

Commnet

Robots.txt ? (크롤링과 규약)

서론 Python을 통해 Web에서 여러 데이터를 스크래핑하며 크롤링을 하기 위한 공부를 하던 과정 중 의문점이 하나 생겼다. 다양한 봇에 대한 이슈를 들어왔는데, 과연 프로그램을 이용한 무분별한 Web 데이터를 다루는 것은 문제가 되지 않는가? 이런 BOT들에 대한 문제는 윤리적, 도덕적 문제뿐 아니라, 서비스를 제공에 장애를 방생하는 요인이기도 합니다. 본문에서는 이 Web에서 데이터를 취득하는 프로그램들에 대한 규약을 알아보도록 하겠습니다. 한정적인 서비스 자원 Web은 인터넷을 통해 정보를 취득할 수 있는 오늘날 가장 대표적인 창구 중 하나입니다. 서비스를 제공하는 서버 측에서 다양한 클라이언트의 요청을 처리하는 방식으로 이루어져 있습니다. 손쉽게 정보를 찾고, 취득할 수 있게 되어있죠. 대부분의..

2022.05.09

컴퓨터/Python

Commnet

Python - Web 크롤링/스크래핑/파싱(Crawling / Scraping / Parsing)

서론 앞으로 본격적으로 Python을 통해서 다양한 Web을 통해서 다양한 데이터를 크롤링, 스크래핑, 파싱을 할 것입니다. 결국은 Python을 통해 Web에서 정보를 취득하여 원하는 형태를 만들기 위한 과정입니다. 이를 다양한 언어로 표현하는데 차이와 특징에 대해서 알아보도록 합시다. 크롤링(Crawling) 수영 영법 등을 표현할 때 Crawl이라는 표현을 씁니다. 우리가 이야기하고자 하는 Webcrawling은 의역하자면, 정보의 바다인 웹을 가로지르는 영법이라는 의미를 가질 수 있습니다. 이 처럼 크롤링은 Web상에서 정보를 탐색하는 모든 행위를 의미합니다. 웹 크롤링을 한다 = 웹에서 정보를 탐색한다 추가로 웹 크롤러(crawler)라는 말은 이런 정보를 탐색하기 위한 다양한 프로그램을 의미합..

2022.04.06

컴퓨터/Python

Commnet