Python - [Numpy] NdArray 살펴보기 (NumPy의 핵심 데이터 구조)

서론 NumPy는 효과적으로 Python에서 데이터를 효과적으로 다룰 수 있게 해 주는 라이브러리입니다. 다시 말해서, 데이터를 효과적으로 다룰 수 있는 데이터 구조를 가지고 있습니다. 본문은 NumPy에서 데이터를 효과적으로 다룰 수 있도록 만든 NumPy의 데이터구조 NdArray가 어떻게 생겨먹었는지 알아보고, 이해하는 시간을 가져보도록 합시다. NdArray의 주요 특징들을 이해한다면 NumPy를 이용하여 데이터를 다루는데 조금 더 쉽게 익숙해질 수 있습니다. N차원 배열 NdArray NumPy에서 제공하는 데이터 구조입니다. N차원의 배열의 형태로 자료를 표현하기 때문에 NdArray라고 부릅니다. 즉 NdArray는 어떠한 데이터를 N차원의 데이터로 표현하고 있습니다. 그리고, 이 NdArr..

2023.04.03

컴퓨터/Python

Commnet

Python - Numpy를 배우기 전 ( 정의, 사용하는 이유 )

Numpy란 무엇인가? 파이썬을 통해서 데이터 분석, 머신러닝, 딥러닝 등을 개발하는 프로그램을 만들게 되면 필연적으로 NumPy라는 라이브러리를 마주하게 됩니다. 이 NumPy(넘파이)라는 녀석은 도대체 무엇일까요? 데이터 분석, 또는 머신러닝, 딥러닝 등을 응용, 구현하는 많은 프로그램들은 전반적으로 "엄청나게 많은 데이터를 처리"하는 과정이 필수적으로 존재합니다. 그리고 이 NumPy는 "엄청나게 많은 데이터"를 컴퓨터와 파이썬언어에서 효율적으로 사용할 수 있게 도와주는 라이브러리입니다. 즉, NumPy는 프로그램에서 필요한 데이터들을 구조화하고, 계산을 할 수 있게 구현된 라이브러리입니다. Numpy의 장점과 특징 NumPy가 무엇인지 대략적으로 이해가 되고 있으신가요? 조금 더 기능적인 부분을 ..

2023.02.08

컴퓨터/Python

Commnet

Python - 파이썬과 아나콘다 그리고 가상환경

서론 파이썬을 공부하기 시작하면 가장 먼저 파이썬을 설치하고 사용하는 방법에 대해서 배우게 됩니다. 이때 파이썬을 설치하는 과정을 웹에서 검색해보면 정말 다양한 방법으로 설명을 해주어 오히려 혼동을 가지게 되는 경우가 있기도 합니다. 본문에서는 무작정 웹에서 검색한 파이썬을 따라 하기 전에 또는 따라한 후에 조금 더 깊이 파이썬을 다루기 전에 알아두면 좋은 상식을 넓히는 시간이 되었으면 좋겠습니다. 파이썬 - 파이썬은 프로그램이다. 이게 무슨 소리야? '파이썬은 프로그래밍 언어 아니야?'라고 반문하는 사람들 또한 많을 것이다. 특히 프로그래밍 세계에 입문하는 사람일수록 뭔 X소리냐고 물어볼 수 있다. 하지만 필자의 생각은 파이썬을 프로그램이 맞다. 가령 한 가지 예를 들어보도록 하자. C언어를 설치한다는..

2022.11.09

컴퓨터/Python

Commnet

Python - [크롤링 실습]seleniu으로 번개장터 조회하기5 (몇가지 질의 해보기)

서론 이제 크롤링 실습의 마지막입니다. 이 시리즈 포스트의 목적은 Python을 통해서 간단하게 크롤러와 유사한 기능을 구현하며 예제로서 참고하기 위해서 작성했습니다. 그래서 이 이상 소스코드가 길어진다면, 너무 비효율적이고 점점 광범위해 지기 때문에 추우에 프로젝트의 개념으로 다시 다루도록 하겠습니다. 자 어찌 됐든 이제 해당 소스코드에 약간의 구조화를 거친 다음 몇 가지 질의를 통해 결과물을 얻어보면서 이 시리즈를 마무리하도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 4 (엑셀로 출력 및 데이터 조회하기) 서론 지난 포스트에서 Pandas에 데이터를 넣어보았습니다. 이제 Pandas를 통해서 정리된 데이터를 효율적으로 사용하는 방법에 대해서 알아봅시다. 본문에..

2022.08.17

컴퓨터/Python

Commnet

Python -[Pandas] 조건 검색하기 (query함수)

서론 Pandas를 통해 여러 정보를 정제하였다면 이제 원하는 데이터를 분석할 수 있어야 합니다. 원하는 조건들을 설정하고 정리된 수많은 데이터들 중에서 필요한 데이터를 추출할 수 있어야 합니다. 본문에서는 Pandas로 정제된 DataFrame안에서 특정 조건을 만족하는 결과를 추출하기 위한 방법에 대해서 알아보도록 하겠습니다. . query 함수 Pandas에서 가장 많이 사용하는 query함수는 정제된 데이터에서 특정 조건을 만족하는 결과를 추출하기 위해 사용합니다. DB를 다뤄보셨다면 조금 더 친숙할 수 있는 개념입니다. 문자열의 형태로 조건을 보내기 때문에 가독성과 편의성이 뛰어나다는 장점이 있습니다. 해당 함수는 아래와 같은 기능으로 조건을 형성할 수 있습니다. 기능 설명 표현 방법 비교 연산..

2022.08.13

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 4 (엑셀로 출력 및 데이터 조회하기)

서론 지난 포스트에서 Pandas에 데이터를 넣어보았습니다. 이제 Pandas를 통해서 정리된 데이터를 효율적으로 사용하는 방법에 대해서 알아봅시다. 본문에서는 Pandas의 몇 가지 기능을 알아보도록 할 것입니다. 우선, 취득한 데이터를 엑셀파일과 csv파일로 저장해보도록 하고, 두 번째로 검색 결과의 평균값, 최저값, 최고값을 구해보는 과정을 해보도록 합시다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 3 (Pandas로 정제) 서론 지난 실습에 이어서 번개장터에서 selenium을 통해 크롤링을 진행했습니다. 이 정보들을 그냥 출력을 해서 사용하는 것은 크롤러가 대신해서 정보를 구해와서 얻어오기는 하지만, 정보들을 blog-of-gon.tistory.com 엑셀 또는 cs..

2022.08.03

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 3 (Pandas로 정제)

서론 지난 실습에 이어서 번개장터에서 selenium을 통해 크롤링을 진행했습니다. 이 정보들을 그냥 출력을 해서 사용하는 것은 크롤러가 대신해서 정보를 구해와서 얻어오기는 하지만, 정보들을 효율적으로 사용하는 데에는 한계가 있습니다. 본문에서는 Pandas를 이용해 데이터를 정제하기 위한 과정을 준비해 보도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 2 (페이지 순환) 서론 지난 포스트에서는 단순하게 번개장터에서 검색 후 데이터를 취득하는 과정을 가지고 왔습니다. 단순히 처음 검색해서 나온 결과의 페이지에서만 데이터를 취득했습니다. 본문에서는 많 blog-of-gon.tistory.com Python - [Pandas]자료 분석을 위한 Pandas 기초 서론 P..

2022.08.02

컴퓨터/Python

Commnet

Python - [Pandas]자료 분석을 위한 Pandas 기초

서론 Python을 이용하여 어떠한 데이터를 처리하는 과정에서 기본적으로 제공하는 리스트나, 딕셔너리등으 자료구조만으로는 생각보다 한계점이 많습니다. 조금 더 손쉽게 데이터를 다루기 위해서 Python에는 NumPy , Pandas 등이 존재합니다. 이런 라이브러리들은 Python에서 데이터들을 손쉽게 정제 및 분석을 할 수 있게 도움을 줄 수 있습니다. 본문에서는 Pandas에 대해서 알아보고 Pandas의 종류를 구현해보는 실습을 해보도록 합시다. Pandas가 무엇인가? 앞서 서론에서 말했다시피 손쉽게 데이터를 정제할 수 있도록 도와주는 라이브러리 형태의 패키지입니다. 일종의 자료구조를 구현환 관리 도구인 셈이죠. Pandas는 Table구조의 형태로 자료를 관리한다고 생각하면 조금 더 이해가 쉬울..

2022.08.01

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 2 (페이지 순환)

서론 지난 포스트에서는 단순하게 번개장터에서 검색 후 데이터를 취득하는 과정을 가지고 왔습니다. 단순히 처음 검색해서 나온 결과의 페이지에서만 데이터를 취득했습니다. 본문에서는 많은 이제 각각의 검색 결과의 모든 데이터를 취득하는 과정을 추가해 보도록 하겠습니다. Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득) 서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.comm.. blog-of-gon.tistory.com Get요청을 통한 페이지 순환 구현하기 번개장터를 통해 ..

2022.07.07

컴퓨터/Python

Commnet

Python - [크롤링 실습] selenium으로 번개장터 조회하기 1 (접속,검색,취득)

서론 본격적으로 Python에서 크롤링을 해보기 위해서 번개장터 웹 페이지를 다뤄보도록 합시다. 초기 준비단계에서의 소스코드는 다음과 같습니다. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys browser = webdriver.Chrome() browser.implicitly_wait(time_to_wait=10) browser.get('https://m.bunjang.co.kr/') 규약 확인하기 우선 크롤링을 사용해도 되는지 먼저 확인을 해보도록 하겠습니다. https://m.bunjang.co.kr/robots.txt에 들어가면..

2022.07.02

컴퓨터/Python

Commnet