쵸코쿠키의 연습장

코드 # 네이버 상품 가져오기 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time import bs4 import pandas as pd t_list = [] n_list = [] r_list = [] p_list = [] keyword = "감귤" driver = webdriver.Chrome(r'C:\Users\Yang\Desktop\chromedriver.exe') driver.get('https://search.shopping.naver.com/search/all.nhn?where=all&frm=NVSCTAB&query={}'.format(keyword)) item_source = bs4..

코드 # 기본 세팅 import matplotlib.pyplot as plt from matplotlib import font_manager, rc font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name() rc('font', family=font_name) plt.rcParams['axes.unicode_minus'] = False 종종 파이썬으로 matplot 작업을 하다보면, 한글이 필요한 경우가 있습니다. 그러한 경우, 바로 작업을 하면 한글이 깨지는 경우가 많습니다. 위와 같이 기본적인 세팅을 해주면, matplotlib 작업을 할 때, 한글이 깨지는 현상을 고칠 수 있습니다. 해당 코드는 윈도우에..

코드 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time import bs4 driver = webdriver.Chrome(r'C:\Users\Yang\Desktop\chromedriver.exe') driver.get("https://www.istarbucks.co.kr/store/store_map.do") time.sleep(2) driver.find_element_by_class_name('loca_search').click() time.sleep(2) driver.find_element_by_xpath('//*[@id="container"]/div/form/fieldset/div/sect..

코드 # 네이버 실시간 검색어를 import xlsxwriter as xw import requests import bs4 naver = requests.get('https://www.naver.com/') naver_bs = bs4.BeautifulSoup(naver.content, 'lxml') span_list = naver_bs.find_all('span', class_='ah_k') span_list = set(span_list) realtime_list = [] for sp in span_list: realtime_list.append(sp.text) wb = xw.Workbook(r'C:\Users\Yang\Desktop\검색어 뉴스 데이터.xlsx') for que in realtime_l..

코드 # 네이버 실시간 검색어 엑셀로 저장하기 import xlsxwriter as xw import requests import bs4 naver = requests.get('https://www.naver.com/') naver_bs = bs4.BeautifulSoup(naver.content, 'lxml') span_list = naver_bs.find_all('span', class_='ah_k') span_list = set(span_list) realtime_list = [] for sp in span_list: realtime_list.append(sp.text) wb = xw.Workbook(r'C:\Users\Yang\Desktop\급상승 검색어.xlsx') ws = wb.add_work..

JSON을 많이 사용할수록 병목 현상으로 JSON 인코딩 또는 디코딩이 발생할 가능성이 높아집니다. 파이썬의 내장 라이브러리는 나쁘지 않지만, 사용 가능한 더 빠른 JSON 라이브러리가 여러개 있습니다. 사용할 라이브러리를 어떻게 선택하면 좋을까요? 정답이없고, 모두를 지배 할 수 있는 가장 빠른 JSON 라이브러리가 없다는 것입니다. "빠른 JSON 라이브러리"는 사용 패턴이 다르기 때문에 사람들마다 다르게 느낄 수 있습니다. 속도는 모든 것이 아닙니다. 보안 및 사용자 지정과 같은 다른 관심 사항도 있을 수 있습니다. 따라서 필요에 따라 가장 빠른 JSON 라이브러리를 선택할 수 있도록 Python에 대한 빠른 JSON 라이브러리를 선택하는 과정을 공유하고자 합니다. 이 프로세스를 사용하여 특정 요구..

import matplotlib.pyplot as plt import numpy as np from keras.layers import * from keras.models import * from keras.utils import * from collections import Counter 이번 포스팅에서는 딥러닝에 가장 기본적인 모델인 퍼셉트론 예제를 구현해보겠습니다. 우선 필요한 라이브러리들을 임포트합니다. x = np.linspace(1, 10, 1000) y = 2 * x + 1 그리고 x는 1부터 10까지 사이의 1000개의 수를 담습니다. y는 x에 2를 곱해주고 1을 더해주는 1차 방정식을 활용해서 전체 값을 담아줍니다. print(x) print(y) # x 출력값 # [ 1. 1.0090..

자연어 처리 NLTK 이 라이브러리 제품군의 이름은 Natural Language Toolkit의 약자이며, 이름에서 알 수 있듯이 기호 및 통계 자연 언어 처리와 관련된 일반적인 작업에 사용되었습니다. NLTK는 NLP 및 관련 분야 (언어학,인지 과학, 인공 지능 등)에 대한 교육과 연구를 용이하게하기 위해 만들어졌으며 오늘날 이를 중심으로 사용되고 있습니다. NLTK의 기능은 텍스트 태그 지정, 분류 및 토큰화, 이름 엔터티 식별, 문장 간 및 문장 내 종속성, 형태소 분석 및 의미 론적 추론을 나타내는 말뭉치 만들기와 같은 많은 작업을 허용합니다. 모든 빌딩 블록을 통해 다양한 작업을 위한 복잡한 연구 시스템을 구축 할 수 있습니다. 예를 들어 감정 분석 및 자동 요약이 있습니다. Gensim G..

기계 학습 SciKit-Learn Scikits는 이미지 처리 및 머신 러닝 촉진과 같은 특정 기능을 위해 설계된 SciPy Stack의 추가 패키지입니다. 후자의 경우 가장 두드러진 패키지 중 하나는 scikit-learn입니다. 이 패키지는 SciPy 위에 구축되었으며 수학 연산을 많이 사용합니다. scikit-learn 패키지는 일반적인 머신 러닝 알고리즘에 간결하고 일관된 인터페이스를 제공하므로 ML을 프로덕션 시스템으로 간단하게 가져올 수 있습니다. 이 라이브러리는 양질의 코드와 우수한 문서화, 사용 편의성 및 고성능을 결합하며, 실제로 Python을 사용한 머신 러닝의 산업 표준입니다. 딥 러닝 딥 러닝에서 가장 두드러지고 편리한 Python 라이브러리 중 하나는 Keras로, TensorFl..

1. NumPy 파이썬의 과학 과제를 다루기 시작할 때 필연적으로 파이썬의 과학 컴퓨팅을 위해 특별히 설계된 소프트웨어 모음인 Python의 SciPy Stack에 도움이됩니다. (SciPy Stack을 이 스택의 일부인이 SciPy 라이브러리 또는 커뮤니티와 혼동하지 마십시오.) 스택은 매우 방대하고 여러개의 라이브러리가 포함되어 있습니다. 핵심 패키지이며, 특히 가장 중요한 패키지 중 하나라고 할 수 있습니다. 가장 기본적인 패키지는 NumPy (Numerical Python)입니다. 파이썬에서 n- 배열과 행렬에 대한 연산에 유용한 기능을 풍부하게 제공합니다. 라이브러리는 NumPy 배열 유형에서 수학 연산의 벡터화를 제공하여 성능을 개선하고 그에 따라 실행 속도를 높입니다. 2. SciPy Sci..

Selenium이 무엇인지 아시나요? 왜 사용되는지 알고 있으신가요? 이 두 가지 질문에 대한 답에 대해 알아보도록 하겠습니다. Selenium은 자동화 테스트에서 세계적으로 활용되고 있습니다. Selenium이란? Selenium은 웹 브라우저에서 수행되는 테스트를 자동화하는 데 사용되는 오픈 소스 도구입니다 (웹 응용 프로그램은 모든 웹 브라우저를 사용하여 테스트 가능). Selenium에서는 웹 응용 프로그램 테스트만 가능합니다. 데스크톱 (소프트웨어) 응용 프로그램이나 Selenium을 사용하여 모바일 응용 프로그램을 테스트 할 수 없습니다. IBM의 RFT, HP의 QPT, Appium 등과 같은 소프트웨어 및 모바일 애플리케이션을 테스트하기 위한 많은 도구가 있습니다. 그러나 동적 웹 애플리케..

R과 Python은 모두 커뮤니티가 큰 오픈 소스 프로그래밍 언어입니다. 새로운 라이브러리 또는 도구는 해당 카탈로그에 지속적으로 추가됩니다. R은 주로 통계 분석에 사용되는 반면 Python은 데이터 과학에 대한보다 일반적인 접근 방식을 제공합니다. R과 Python은 데이터 과학을 지향하는 프로그래밍 언어 측면에서 최신 기술입니다. 물론 두 가지를 모두 배우는 것이 이상적인 솔루션입니다. R과 Python에는 시간 투자가 필요하며 그러한 사치는 모든 사람에게 제공되지는 않습니다. 파이썬은 문장을 읽을 수 있는 범용 언어입니다. 그러나 R은 통계학자가 작성했으며 특정 언어를 포함합니다. R 학계와 통계 학자들은 20년 동안 R을 개발했습니다. R은 이제 데이터 분석을 수행 할 수있는 가장 풍부한 생태계..

우선, Anaconda는 무엇일까요? Anaconda가 실제로 의미하는 바와 그 의미에 대해 조사하기 전에 먼저 Conda에 대해 알아 봅니다. 콘다의 공식 블로그 Conda는 Windows, macOS 및 Linux에서 실행되는 오픈 소스 패키지 관리 시스템 및 환경 관리 시스템입니다. Conda는 패키지 및 해당 종속성을 빠르게 설치, 실행 및 업데이트합니다. Conda는 로컬 컴퓨터의 환경을 쉽게 생성, 저장,로드 및 전환합니다. 파이썬 프로그램용으로 만들어졌지만 어떤 언어로든 소프트웨어를 패키지하고 배포 할 수 있습니다. 왜 콘다로 갑자기 이야기가 나왔을까요? 우리는 모두 파이썬으로 작성된 소프트웨어 패키지를 설치하고 관리하는 데 사용되는 패키지 관리 시스템이라는 것을 알고 있습니다. 그것은 한계..

Jupyter Notebook은 무엇입니까? 이 페이지에서는 Jupyter Notebook 환경의 주요 구성 요소를 간략하게 소개합니다. 보다 완전한 개요는 참조를 참조하십시오. Notebook document Notebook documents는 Jupyter Notebook App에서 제작한 문서이며 컴퓨터 코드(예 : python)와 서식있는 텍스트 요소 (단락, 방정식, 그림, 링크 등)를 모두 포함합니다. 노트북 다큐먼츠는 분석 설명 및 결과 (그림, 표 등)가 포함된 사람이 읽을 수 있는 문서이며 데이터 분석을 수행하기 위한 실행 가능한 문서입니다. Jupyter Notebook 앱 Jupyter Notebook App은 웹 브라우저를 통해 노트북 다큐먼츠를 편집하고 실행할 수 있는 서버 클라이..

import requests import bs4 query = "안심전환대출" page = 1 for i in range(1, page+1): url = 'https://search.daum.net/search?w=news&sort=recency&q={}&cluster=n&DA=STC&s=NS&a=STCF&dc=STC&pg=1&r=1&p={}&rc=1&at=more&sd=&ed=&period=' real_url = url.format(query, i) news = requests.get(real_url) news_bs = bs4.BeautifulSoup(news.content, 'lxml') news_list = news_bs.findAll('div', class_="cont_inner") for i i..

코드 import requests import bs4 naver = requests.get('https://www.naver.com/') naver_bs = bs4.BeautifulSoup(naver.content, 'lxml') span_list = naver_bs.find_all('span', class_='ah_k') span_list = set(span_list) realtime_list = [] for sp in span_list: realtime_list.append(sp.text) print(realtime_list) 출력 결과 [ '조국 여배우', '와우 클래식', '새싹보리', '노브라티', 'g7 국가', '코오롱티슈진', '안심전환대출', '이우연', '김용호', '위대한 쇼', '홍..

코드 import requests import bs4 year = "2021" month = "01" si = "1100000000" area = [] address = [] name = [] contractor = [] households = [] url = 'http://estate.mk.co.kr/newapt/danji_list.php?enter_year={}&enter_month={}&si_name={}' real_url = url.format(year, month, si) data = requests.get(real_url) data_bs = bs4.BeautifulSoup(data.content, 'lxml') data_list = data_bs.find_all('tr') data_list.p..

특징, 속성 (feature, attribute)특징이란 학습 모델로 정답을 도출하기 위해 고려할 데이터를 의미합니다. 의미 있는 특징이 많으면 그만큼 학습이 용이합니다. 일련의 특징을 특징 벡터라고도 합니다. 특징을 속성이라고도 부릅니다. 레이블, 클래스 (lable, class)레이블이란 특징 벡터를 머신러닝 모델에 통과 시켰을 때 도출되기를 기대하는 정답입니다. 클래스도 레이블과 같은 의미를 가집니다. 머신러닝 분야에서는 표준 용어가 정립되어 있지 않습니다. 주로 레이블이나 클래스라는 용어를 혼용합니다. 인스턴스, 사례, 샘플 (instance, example, sample)인스턴스란 학습 데이터에 포함된 하나의 특징벡터를 의미합니다. 지도학습의 경우 레이블이 부여된 특징 벡터가 될 것입니다. 같은..

파이썬 프로그래밍 기본 용어 정리 패키지패키지는 관련 있는 모듈들의 묶음을 뜻합니다. 폴더의 형태로 존재합니다. 모듈모듈을 관련 있는 클래스, 함수, 변수 등을 포함하는 묶음입니다. 파이썬 파일 형태로 존재합니다. 함수함수는 특정 기능을 수행하는 코드 묶음으로 파라미터를 입력받습니다. 그리고 특정한 처리를 합니다. 마지막으로 결과를 반환합니다. 파이썬에서는 def 키워드로 함수를 정의합니다. 파라미터파라미터는 함수에 주어지는 입력입니다. 파이썬에서는 튜플 형식의 입력이 있습니다. 또, 키워드 형식의 입력을 지원합니다. 튜플 형식은 순서를 맞춰서 전달합니다. 키워드 형식은 키워드로 전달하는 입력입니다. 튜플 형식의 파라미터의 경우 꼭 전달해야 합니다. 키워드 형식의 파라미터의 경우 기본값이 존재합니다. 따..

MNIST 숫자 인식 - hidden layer 수: 3 - 각 hidden layer의 node 수: 64, 64, 64- activation: ReLU- optimizer: SGD (learning rate=0.001)- weight initialization: Xavier- batch size: 200(가) (10점) Tensorflow를 사용하여 위에 주어진 feed-forward 네트워크 구조를 구현하여 50 epoch 동 안 학습한 후, training data와 validation data의 training curve를 그리시오. (Hint: 수업 자료 마지 막 실험) (나) (10점) 모든 hidden layer의 node 수를 512로 변환한 후, (가)와 동일한 실험을 진행하고 그 결과..