IT_developers

데이터 수집 서울 열린 데이터 광장 홈페이지 서울시 주민등록인구(구별) 통계 서울시 자치구 년도별 CCTV 설치현황 서울시 5대 범죄 발생현황 통계 구별 인구 통계 : https://data.seoul.go.kr/dataList/419/S/2/datasetView.do cctv : https://data.seoul.go.kr/dataList/OA-2734/F/1/datasetView.do 서울시 5대범죄 : https://data.seoul.go.kr/dataList/316/S/2/datasetView.do 라이브러리 및 세팅 import seaborn as sns seaborn 폰트 사용 - 한글처리보다 먼저 선언해야함 sns.set(font_scale=1) import pandas as pd impo..

라이브러리 로드 import pandas as pd 경고메세지 지우기 import warnings warnings.simplefilter("ignore") import matplotlib.pyplot as plt 한글처리 plt.rcParams['font.family'] = 'Malgun Gothic' plt.rcParams['axes.unicode_minus'] = False import seaborn as sns 데이터 로드 데이터 탐색 전체정보 확인 : info() 데이터 값 정리 총 87개의 행 값이 비어있는 값들 확인 == NaN 값 name : 캐릭터 이름 height : 키 mass : 몸무게 hair_color : 머리카락 색 sink_color : 피부색 eye_color : 눈동자 색 ..

유튜브 랭킹 크롤링 url : https://youtube-rank.com/board/bbs/board.php?bo_table=youtube&page=1 1 ~ 10 페이지 크롤링 카테고리명, 채널명, 구독자수, view 수, 동영상 개수 추출 추출된 정보는 엑셀 저장 selenium + soup 사용 1. 라이브러리 import pandas as pd import matplotlib.pyplot as plt from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from bs4 import BeautifulSoup import t..

멜론, 벅스, 지니 음악 순위 크롤링 각 음악 사이트의 크롤링 정보를 엑셀 저장 저장된 정보를 읽어온 후 3개의 데이터 합치기 TOP 100 - 순위, 노래제목, 가수이름 기본 설정 Selenium from selenium import webdriver from selenium.webdriver.common.by import By BeautifulSoup from bs4 import BeautifulSoup Pandas import pandas as pd import requests import time 1. 멜론 TOP100 음악 정보 가져오기 1) url 2) 전체 데이터 확인 3) 크롤링 결과 확인 및 엑셀 저장 서비스 : 멜론 순위, 타이틀, 가수 순으로 저장 2. 벅스TOP100 음악 정보 가져..

탐색적 데이터 분석 데이터 분석이라는 것이 특별히 정해진 규칙은 없음 기본적 작업 데이터 출처와 주제에 대한 이해 데이터 구성요소, 속성 확인 평균, 중앙값... 통계 요약 정보 출생아 수 합계 출산율 데이터 분석 https://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=1428 엑셀 다운로드 (경로 : data/dataset) 저장된 파일 확인 1. 기본 설정 2. 데이터 로드 3. 데이터 정리 4. 데이터 전처리 5. 정리된 데이터 확인 6. 시각화 1) 행/열 변경 df.T df.transpose() 2) 선 그래프 3) 오른쪽 축 설정 excel에서의 z축 4) 출생아수 - 막대, 합계 출산율 - 라인 5) 그래프 디자인

탐색적 데이터 분석 데이터 분석이라는 것이 특별히 정해진 규칙은 없음 기본적 작업 데이터 출처와 주제에 대한 이해 데이터 구성요소, 속성 확인 평균, 중앙값... 통계 요약 정보 행정 안전부에서 2012년 2022년 데이터를 다운로드 후 데이터 분석 data_analytics -> project -> 인구현황 연령별 인구 현황.ipynb 10년 전 인구 변화 엑셀 다운로드 data_analytics -> data -> dataset 저장 201205_201205_연령별인구현황_월간.xlsx 데이터 기본 정보 확인 남자와 여자 컬럼명 불일치 데이터 전처리 : 데이터 수정 에러 문구 ValueError: cannot convert float NaN to integer 피라미드 차트 그리기 라이브러리 한글처리..

데이터 프레임 다른 포맷 형식으로 저장 라이브러리 : import pandas as pd Youtube 댓글 크롤링 후 데이터 프레임 생성 샐레니움 설치 필요 : pip install selenium 설치 Anaconda prompt 관리자 권한 실행 후 설치 pip install selenium pip install beautifulsoup4 pip install lxml pip install requests pip install webdriver-manager ※ 추가 설치 방법 아나콘다 전용 설치 conda install -c anaconda selenium 주피터 노트북에서 직접 설치 ! pip install selenium Chromedriver.exe 파일 다운