Python - 크롤링 실패 사례 (Http 406 error) 유저 정보의 필요성

서론 지난 포스트에서 간단하게 음악차트를 가지고 오는 크롤링 프로그램을 구현해 보았습니다. 정상적으로 작동하는 것을 확인할 수 있었지만, 다른 웹페이지를 크롤링하기 위해서 응용을 했을 때 원하는 결과를 못 얻는 경우가 생길 수 있습니다. 이유는 웹 서비스를 제공하는 서버 측에서 불순한 의도로 접근하는 방법을 차단하기 때문입니다. 디도스 공격등 다양한 문제점을 발생시킬 수 있기 때문이죠. 그렇기 때문에 http 요청을 할 때 어떠한 방법으로 접근을 하는지 포함하여 요청을 해야만 올바른 동작을 할 수 있습니다. User-Agent - 서버에서 나의 정보를 식별하기 위한 값 Http 요청을 하게 되면 Header 부분에서 User-Agent라는 값으로 어떠한 방법으로 요청을 하고 있는지 정확하게 식별해주는 방..

2022.04.12

컴퓨터/Python

Commnet

Win32_API - 체크버튼과 토글버튼 구현하기

서론 이전에는 간단한 푸시버튼에 대해서만 다뤘습니다. 하지만 체크 버튼과 토글 버튼 또한 사용빈도가 높고 다양한 형태의 프로그래밍을 할 때 필요한 요소입니다. 본문에서는 체크버튼과 토글 버튼을 직접 구현해 보도록 합시다. 체크 버튼과 토글 버튼 우선 체크 버튼과 토글 버튼이 무엇인지부터 알아보도록 합시다. 사실 기능은 똑같은 녀석이라고 봐도 무방합니다. 버튼의 상태를 체크의 형태로 표시할 것이냐, 눌림의 상태로 표시할 것이냐입니다. 간단하게 예시를 들어 확인해 보도록 합시다. 여기서 중요한 점은 두 버튼 모두 버튼이 2가지의 상태를 가지고 있다는 것입니다. 선택이 됐다 또는 선택이 되지 않았다. 이 부분에 유의해서 직접 구현해 보도록 합시다. 체크 버튼 구현하기 1 - BS_CHECKBOX 스타일 체크 ..

2022.04.11

컴퓨터/Win32-API

Commnet

Win32_API - 아이콘 버튼 (버튼에 이미지를 설정하기)

서론 Windows 응용 프로그래밍 과정에서 대표적인 컨트롤 중 하나인 버튼을 기본적인 양식대로 만들면 기능은 구현할 수 있으나 시각적으로는 부적합한 경우가 상당히 많습니다. 본문에서는 버튼 컨트롤을 마치 아이콘의 형태처럼 이미지를 씌우는 방법에 대해서 알아보고 사용해보도록 합시다. 버튼을 생성하는 과정이 이해가 안 되면 아래 글을 참조해주세요 Win32_API - 버튼 만들기 서론 수많은 Windows 프로그램들의 Window를 보면 다양한 기능들을 제공하는 버튼들을 많이 보았을 것입니다. 첨부된 그림처럼 Window 프로그램에는 프로그램을 제어할 수 있는 다양한 기능이 존재합 blog-of-gon.tistory.com 우선 이미를 준비합시다. 당연히 버튼에 사용할 이미지를 준비해야 됩니다. 이미지를 ..

2022.04.08

컴퓨터/Win32-API

Commnet

Python - Web 크롤링/스크래핑/파싱(Crawling / Scraping / Parsing)

서론 앞으로 본격적으로 Python을 통해서 다양한 Web을 통해서 다양한 데이터를 크롤링, 스크래핑, 파싱을 할 것입니다. 결국은 Python을 통해 Web에서 정보를 취득하여 원하는 형태를 만들기 위한 과정입니다. 이를 다양한 언어로 표현하는데 차이와 특징에 대해서 알아보도록 합시다. 크롤링(Crawling) 수영 영법 등을 표현할 때 Crawl이라는 표현을 씁니다. 우리가 이야기하고자 하는 Webcrawling은 의역하자면, 정보의 바다인 웹을 가로지르는 영법이라는 의미를 가질 수 있습니다. 이 처럼 크롤링은 Web상에서 정보를 탐색하는 모든 행위를 의미합니다. 웹 크롤링을 한다 = 웹에서 정보를 탐색한다 추가로 웹 크롤러(crawler)라는 말은 이런 정보를 탐색하기 위한 다양한 프로그램을 의미합..

2022.04.06

컴퓨터/Python

Commnet

Python - Beautiful Soup ? (HTML / XML 데이터를 가공하기)

서론 HTML이나 XML 등의 데이터 덩어리를 Python으로 가지고 온다면 이것을 어떻게 써야 할까요? 예를 들어 가지고 온 HTML 문서에서 태그만을 가지고 오고 싶다면 데이터 덩어리에서 추출하는 것은 상당히 손이 많이 가는 작업일 것입니다. Beauiful Soup 패키지는 이런 데이터 덩어리를 손쉽게 유용한 정보로 가공할 수 있게 해주는 유용한 라이브러리입니다. Beauiful Soup4 beauiful soup는 계속 새로운 버전이 릴리즈 되면서 현제 Beauiful Soup4를 이용하여 개발하고 있습니다. 따라서 최신 버전의 사용법을 숙지하는 것을 권장드립니다. 그럼 간단한 예제들을 통해 해당 라이브러리를 설치해보고 간단한 실습을 해보도록 하겠습니다. 패키지 설치하기 with pip 우선 pi..

2022.04.02

컴퓨터/Python

Commnet

Python - request 패키지의 한계(활용하기 위한 방법)

서론 웹 브라우저를 통하지 않고 Python에서 request패키지를 통해 특정 서버에 http 프로토콜 요청이 가능합니다. 쉽게 말해 URL 요청을 통해 데이터를 취득할 수 있습니다. 아주아주 쉽게 말이죠. 이게 바로 Request 패키지의 목적이자, 한계입니다. 본문에서는 request패키지를 통해 python에서 응답받은 이 결과물을 어떻게 사용할지 생각해 보도록 합시다. request로부터 응답받은 객체 우선 request 메서드를 통해 응답받은 객체를 보면 다양한 속성 값들이 존재합니다. class Response(object): """The :class:`Response ` object, which contains a server's response to an HTTP request. """ ..

2022.04.01

컴퓨터/Python

Commnet