본문 바로가기

Python

yaml 파일 요소 뽑아내기 import yaml import pprint def print_instance(filename): with open(filename) as f: conf = yaml.load(f) temp = conf['instance_groups'] instance = [] for i in temp: deployments = [] deployments.extend([i['name'], i['instances'], i['vm_type']]) instance.append(deployments) return instance filename = 'D:\deployment\paasta-deployment\paasta-deployment.yml' pprint.pprint(print_instance(filename)) paas-..
네이버 실시간 검색어 크롤링 코드 코드 from bs4 import BeautifulSoup import urllib.request def top_word(): word_list = [] url = 'https://www.naver.com/' sourcecode = urllib.request.urlopen(url).read() soup = BeautifulSoup(sourcecode, 'html.parser') soup = soup.find('ul', 'ah_l') for i in soup.find_all('span', 'ah_k'): word_list.append(i.get_text()) return word_list word_list = top_word() for i in range(len(word_list)): print('#{0}..
Kaggle에서 한글 폰트 사용하기 이런 저런 방법이 있겠지만 나는 가장 간단한 방법으로 했다. 데이터 셋에 폰트를 넣어준다. # This Python 3 environment comes with many helpful analytics libraries installed # It is defined by the kaggle/python docker image: https://github.com/kaggle/docker-python # For example, here's several helpful packages to load in import numpy as np # linear algebra import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv) import ma..
Python과 2018 교통사고 사망 데이터를 활용하여 지도에 표시해보기 - 노트북 주소 : (링크) 2018_korea_accident_data Using data from [Private Dataset] www.kaggle.com # This Python 3 environment comes with many helpful analytics libraries installed # It is defined by the kaggle/python docker image: https://github.com/kaggle/docker-python # For example, here's several helpful packages to load in import numpy as np # linear algebra import pandas as pd # data processing, CS..
NASA Dataset을 이용하여 predictive - maintenance 하기 전 데이터 살펴보기 MES는 Manufacturing Execution System의 약자라지만 나한테는 욕의 약자처럼 느껴지는데..^^! 블로그니까 착한 말만 하기로 하자. 제조업이나 기계쪽은 관련 데이터셋을 찾기가 쉽지 않아 구글링하고 X100 또 하다가 그래도 한 번 해볼만한 데이터셋을 찾게 되었다. 캘리포니아에 사시는 김에버슨님이 작성해주신 자료이다. 깃의 주소는 여기로 간다. 김에버슨님이 작성한 글은 여기에서 본다. 예제는 NASA에서 제공되는 Turbofan Engine Degradation Simulation data set으로 진행된다. 나사 홈페이지 가면 받을 수 있을 것처럼 보이지만 천만의 말씀 만만의 콩떡. URL이 소실된지 오래이므로 잘 검색해서 받아준다. 받아서 압축을 풀면 이런 문서가 있다. (물론..
Python - 네이버 지도 API를 이용하여 서브웨이 지도 만들기 지도 시각화를 해본 적이 없어 라이브러리도 익힐겸, API도 사용해볼겸 진행해보았다. 준비물은 다음과 같다. - Jupyter Notebook - 네이버 API 사용자 인증 1. 먼저 서브웨이 체인점들의 주소를 크롤링 해온다. 주소는 네이버에 검색해서 크롤링해오는 방법도 있지만, 서브웨이 홈페이지에서 직접 가져왔다. 보면 2019년 6월 현재 350개의 매장이 존재하며 매장명과 매장주소를 같이 제공하고 있다. 페이지가 넘어가며 url이 바뀌는 편한 구조이기 때문에 크롤링은 쉽다. 머리를 잘 써서 page_number를 지정해주지 않아도 알아서 크롤링 해오게 할 수 있지만 무난하게 페이지를 지정해주었다. def make_subway_list(): url = 'http://subway.co.kr/storeS..
Beautiful Soup Documentation 이 문서는 Beautiful Soup 4.4.0 documentation를 참고하였습니다. 두고두고 참고하려고 작성한 용도이며 더 자세한 정보는 원본 문서를 참고해주세요. ...더보기 Table Of Contents Beautiful Soup Documentation Getting help Quick Start Installing Beautiful Soup Problems after installation Installing a parser Making the soup Kinds of objects Tag Name Attributes Multi-valued attributes NavigableString BeautifulSoup Comments and other special strings Navigat..