전체보기293

• 

  파이썬 인터넷 웹페이지 크롤링하기 파이썬 인터넷 웹페이지 크롤링 라이브러리 파이썬으로 웹페이지를 크롤링하기 위해서는 기본적으로 아래 4가지의 라이브러리를 많이 사용합니다. requests : 페이지 요청 라이브러리 bs4의 BeautifulSoup : HTML 다루는 라이브러리 time : 안전하게 수집하는 방법 pandas : 수집한 데이터 엑셀화 추가로 이전 포스팅에서 다뤘던 정규표현식까지 사용해주면 조금 더 편리하게 사용할 수 있습니다. https://codevang.tistory.com/344 로또 번호 크롤링해서 가져오기 먼저 다음 사이트에서 "로또"를 검색해봅니다. 사이트 주소를 복사한 뒤 "requests" 라이브러리를 통해 페이지를 요청합니다. 결과가 200번대이면 문제없음, 400번대이면 페이지 없음 등의 에러발생, 50.. 파이썬/라이브러리(API) 2024. 3. 9.

• 

  파이썬 정규표현식 기초 대괄호 [ ] 정규표현식 대괄호는 들어가는 문자 자체를 모두 찾아줍니다. 대괄호안과 밖을 잘 구분해서 사용해야합니다. 예를 들어 "[ca+t]" 는 "c", "a", "+", "t"를 하나씩 모두 찾겠다는 뜻입니다. 하지만 "c[a]+t" 는 c와 t 사이 a가 한 개 이상인 단어를 찾아달라는 뜻이 됩니다. 대괄호 안에 들어가서 바로 인식이 안되는 하이픈(-) 같은 경우는 앞에 역슬레쉬를 붙여주면 됩니다. "[\-]" : 하이픈이라는 문자 자체를 찾음 하이픈을 그냥 사용하면 범위를 지정할 수 있습니다. [abc] == [a-c] : a~c까지의 문자 [a-zA-Z] : 영어문자 모두 [0-9] : 숫자 모두 [가-힣] : 한글 모두 [0-9a-zA-Z가-힣] : 특수문자를 제외하고 숫자, 영문, 한글 모.. 파이썬/기본문법 2024. 3. 8.

• 

  파이썬 판다스 데이터에 순위 매기기 판다스 rank() 함수 사용해 데이터 순위 매기기 "rank()" 함수를 사용하면 데이터의 순위를 간단하게 매길 수 있습니다. 순위를 적용하는 옵션이 여러 가지 있으니 주의해서 사용하면 됩니다. df.rank(method="순위옵션", ascending=True/False) 기본옵션인 오름차순은 순위를 매길 기준 값이 낮을 수록 높은 순위를 줍니다. 예를 들어 1~10까지 있다면 1이 1순위가 되는 것이죠. 하지만 시험 점수와 같이 큰 숫자가 높은 순위를 가져가도록 한다면 기준값을 내림차순으로 만들어 순위를 매겨줘야 합니다. 따라서 "ascending = False" 값을 줘서 꼭 내림차순으로 만들어줘야합니다. 점수가 높을 수록 순위가 높다(시험점수) : 내림차순 적용 ascending = False .. 파이썬/라이브러리(API) 2024. 3. 8.

• 

  판다스 데이터프레임 행과 열 값 바꾸기 열에 있는 값을 행으로 내리는 방법 판다스의 "melt()" 함수를 통해 간단히 수행할 수 있습니다. 먼저 데이터를 불러옵니다. import pandas as pd billboard = pd.read_csv("billboard.csv") pd.melt(데이터프레임, id_vars = ["남겨둘 컬럼"], var_name = "이동된 컬럼 이름", val_value = "값의 컬럼 이름") 한 번에 열의 값을 행으로 바꾸면 두 개의 컬럼이 새로 생기게 됩니다. 그대로 둘 컬럼과 함께 이름을 지정해줍니다. 가장 끝에 "week"와 "waiting" 컬럼이 추가된 것을 확인할 수 있습니다. billboard2 = pd.melt(billboard, id_vars = ["year", "artist", "track.. 파이썬/라이브러리(API) 2024. 3. 7.

• 

  판다스 데이터 누락값(결측치) 처리하기 판다스 누락값 결측치 파악하기 누락값이 있다면 연산에서 에러가 발생할 수 있으므로 데이터 작업 전에는 항상 누락값을 처리해주고 시작하는 것이 좋습니다. 이번 포스팅은 누락값을 처리하는 여러 방법들입니다. import pandas as pd ebola = pd.read_csv("country_timeseries.csv") 누락값은 if문으로 매칭할 수 없기 때문에 누락값의 존재 여부를 알기 위해서는 아래와 같은 방법을 사용해야합니다. 먼저 info를 통해 시각적으로 확인할 수 있습니다. ebola.info() 정확한 숫자를 알고 싶다면 아래와 같이 사용할 수 있습니다. ebola.index.stop - ebola.count() 누락값 데이터 입력하기 먼저 단순하게 특정 값이나 평균값 등의 통계 데이터로 채.. 파이썬/라이브러리(API) 2024. 3. 7.

• 

  판다스 데이터프레임 합치기 (데이터프레임 병합) 판다스 concat() 함수로 데이터프레임 합치기 먼저 같은 열이름과 행이름을 가진 데이터 프레임을 합치는 방법입니다. 일단 데이터를 로드해줍니다. 세 가지 데이터 모두 같은 형태를 취하고 있습니다. import pandas as pd df1 = pd.read_csv("concat_1.csv") df2 = pd.read_csv("concat_2.csv") df3 = pd.read_csv("concat_3.csv") 판다스의 "concat()" 함수를 사용해 3개 데이터를 합쳐보겠습니다. 기본은 언제나 열(컬럼, 시리즈) 단위로 되어 있기 때문에 컬럼명을 기준으로 아래로 붙어서 합쳐집니다. # 세 개 데이터프레임 합치기 concat1 = pd.concat([df1, df2, df3]) 인덱스를 기준으로 합.. 파이썬/라이브러리(API) 2024. 3. 7.

• 

  파이썬 시각화하기 - 맷플롯리브(matplotlib) 라이브러리 기초 matplotlib 사용준비 기초에서는 Matplotlib의 서브 패키지인 pyplot을 주로 사용합니다. "plt"라는 명칭으로 알려져있습니다. 테스트용 데이터셋을 받기위해 seaborn 라이브러리를, 데이터를 다루기 위해 pandas를 같이 사용하도록 합니다. 서로 연동도 잘 되어 있습니다. import pandas as pd import matplotlib.pyplot as plt import seaborn as sns 일단 테스트 데이터를 로드해줍니다. seaborn 라이브러리에서 제공하는 "anscombe" 데이터를 사용해봅니다. anscombe = sns.load_dataset("anscombe") 편의를 위해 구분자인 "dataset" 별로 데이터를 나눠서 저장해줍니다. anscombe = .. 파이썬/라이브러리(API) 2024. 3. 7.

• 

  판다스 데이터프레임에서 조건문(if문)으로 데이터 넣기 판다스에서 열(시리즈) 추가하기 가장 기본적으로 아래와 같이 추가해줄 수 있습니다. 의미 있는 데이터를 바로 넣어줘도 되고 껍데기만 넣어줘도 됩니다. 중복된 컬럼명을 넣으면 에러가 발생합니다. dataframe['컬럼명'] = 0 위와 같은 방법으로 생성하면 열이 가장 오른쪽에 생성됩니다. 만약 원하는 위치에 삽입하고자 한다면 "insert()" 메소드를 써주면 됩니다. 매개변수는 (삽일할 인덱스 번호, 컬럼명, 데이터) 순입니다. 아래 코드는 3번 인덱스 순서에 새로운 컬럼을 일단 0을 넣어서 생성하겠다는 의미입니다. dataframe.insert(3, "컬럼명", 0) 판다스 데이터프레임 열에 조건문으로 데이터 삽입하기 데이터를 다루다보면 다른 컬럼들을 참고해서 새로운 컬럼의 값을 동적으로 지정해야할.. 파이썬/라이브러리(API) 2024. 3. 7.

• 

  파이썬 판다스 Pandas 기본 문법 및 기초 사용법 판다스 사용하기 판다스 라이브러리는 파이썬에서 표 형태의 데이터분석을 할 때 가장 많이 사용되는 라이브러리입니다. 엑셀, csv, tsv, pickle 등과 연동해 사용할 수도 있습니다. 데이터의 결측치를 쉽게 처리할 수 있고 형태 변형, 삭제, 추가 등이 용이하며 그룹화, 정렬, 결합이 쉽습니다. 또한 데이터의 시각화를 할 수 있는 다양한 기능이 있으며 문자열 및 날짜, 시간 처리도 간편합니다. 역시 아나콘다를 설치할 경우 자동으로 설치되고, 없다면 터미널에서 "pip install pandas" 명령어를 통해 설치해주면 됩니다. 통상적으로 "pd"로 명명해 사용합니다. import pandas as pd 판다스에서 CSV, TSV 파일 데이터 불러오기 먼저 "read_csv()" 메소드를 통해 콤마로.. 파이썬/라이브러리(API) 2024. 3. 6.

• 

  파이썬 Numpy 수치해석용 라이브러리 Numpy 사용 준비 파이썬의 넘파이(numpy) 라이브러리는 다차원의 배열 자료구조, 벡터와 행렬을 사용하는 선형대수 계산에 주로 사용되는 파이썬의 대표적인 데이터 분석 및 머신러닝 라이브러리 중 하나입니다. 혹시 numpy import가 되지 않고 모듈을 찾을 수 없다는 "ModuleNotFoundError"가 난다면 설치가 되어있지 않다는 말입니다. 아나콘다를 설치해 VS Code 등 개발툴과 연동했다면 무리 없이 사용이 가능합니다. 그렇지 않다면 터미널에서 "pip install numpy"를 입력해 설치 후 사용하면 됩니다. 보통 numpy는 np로 명명해 사용합니다. import numpy as np Numpy 행렬 행렬은 다중 리스트 구조를 의미합니다. 넘파이는 행렬 구조의 데이터를 아주 수.. 파이썬/라이브러리(API) 2024. 3. 5.

• 

  파이썬 내장 함수 파이썬에 기본적으로 포함된 잘 사용되는 내장 함수들입니다. abs(숫자) abs(-3) ==> 3 숫자 절대값의 절대값 all(리스트 형태의 반복 자료형(iterable)] all([1, 2, 3, 0]) ==> False all([1, 2, 3]) ==> True 하나라도 거짓이면 False, 모두가 참이면 True 반환 any(리스트 형태의 반복 자료형(iterable)] any([1, 0, 0, 0]) ==> True any([0, 0, 0, ""]) ==> False 하나만 참이어도 True, 모두가 거짓이면 False 반환 chr(아스키코드) chr(97) ==> 'a' 아스키코드를 문자로 변환 dir(객체 오브젝트) dir(list) ==> ['append', 'count' ...] 리스트 클.. 파이썬/기본문법 2024. 3. 4.

• 

  파이썬 클래스 만들기 및 클래스 상속 받기 파이썬 클래스 만들기 클래스 만들기 또한 간단합니다. 1. 클래스 선언을 해줍니다. 한 줄이면 됩니다. # 학생 클래스 class Student: 2. 클래스 객체가 가지고 있을 데이터가 있다면 생성자로 매개변수를 받아줍니다. 생성자라는건 클래스를 이용해 객체 인스턴스를 만들 때의 초기값이라고 생각하면 됩니다. 파이썬의 경우 "__init__()" 메소드를 이용해 만들어주면 됩니다. 클래스 내부의 모든 메소드의 첫 매개변수는 "self"를 넣어줘야 합니다. 클래스 내부에서 자기 자신을 지칭하는 용도입니다. 클래스가 가질 "self.변수"에다가 매개변수로 받은 변수들을 넣어주면 됩니다. 물론 바로 넣지 않고 필요한 만큼 변형을 해서 넣어도 됩니다. # 학생 클래스 class Student: # 초기 생성자.. 파이썬/기본문법 2024. 2. 16.

• 

  파이썬 파일 읽기 쓰기 파이썬 파일 생성하기, 파일 열기 파일을 열면 항상 잘 닫아주는 것이 좋습니다. 세트메뉴라고 생각하시면 됩니다. 쓰기 모드("w"), 추가모드("a")로 오픈할 경우 없으면 새로 생성됩니다. f = open("file.txt", "w") # 파일 만들어서 열기 f.close() # 파일 닫기 파일 열기 모드 설명 r 읽기모드 w 쓰기모드 (기존 내용 지우고 새로 씀) a 추가모드 (마지막 부분부터 이어 씀) 경로를 설정해야하면 아래와 같이 지정해주면 됩니다. 역슬레쉬는 2개를 해야 오류 확률이 줄어듭니다. 경로 디폴트는 현재 편집하고 있는 ".py" 파일이 있는 위치입니다. f = open("E:\\Python\\file.txt", "w") # 파일 만들어서 열기 f.close() # 파일 닫기 파이썬 .. 파이썬/기본문법 2024. 2. 16.

• 

  파이썬 함수 (메소드) 사용하기 파이썬 함수 기본 구조 함수의 기본 구조는 간단합니다. 다른 언어와 달리 타입 지정이 없어서 사용하긴 편리한데 복잡해지면 디버깅하기 더 어려워 보이긴 합니다. 딱히 값을 리턴 하지 않고 특정 동작만 하도록 해도 무방합니다. # 파이썬 함수 기본 구조 def method(a, b): # a, b를 매개변수로 받는 함수 method return a + b # a + b 결과값을 리턴함 add = method(1, 2) print(add) # ==> 3 파이썬에서 매개변수(파라미터) 갯수 변할 수 있도록 함수 만들기 매개변수에 *을 붙여주면 가변인자를 사용할 수 있습니다. 튜플 형식으로 만들어주기 때문에 반복문을 통해 쉽게 작업할 수 있습니다. def sum_all(*args): print(type(args).. 파이썬/기본문법 2024. 2. 16.

• 

  파이썬 제어문, 반복문 (if, for, while) 파이썬 if 여기서부터는 들여쓰기가 중요합니다. 세미콜론으로 문장을 구분하는 다른 언어와 달리 세미콜론이 없기 때문에 들여쓰기를 잘 해줘야 합니다. 조건의 콜론(:) 밑에 하부 수행 사항을 들여쓰기로 구분해주면 됩니다. 파이썬의 if문은 아래와 같은 형식으로 사용하면 됩니다. 나머지는 그냥 응용입니다. a = "메롱" if a == "강아지": # a가 "강아지라면" print("강아지가 맞슴다.") elif a != "강아지" and a == "고양이": # a가 "강아지"가 아니고 고양이라면 print("고양인데요?") else: # 위의 조건들이 맞지 않다면 print("애완동물이 아닌가봐") "in"을 통해 다른 언어에 비해 조건문 작성이 편한 점도 있습니다. 별도 처리 없이 "in"을 통해 리스.. 파이썬/기본문법 2024. 2. 15.