쵸코쿠키의 연습장

R과 Python은 모두 커뮤니티가 큰 오픈 소스 프로그래밍 언어입니다. 새로운 라이브러리 또는 도구는 해당 카탈로그에 지속적으로 추가됩니다. R은 주로 통계 분석에 사용되는 반면 Python은 데이터 과학에 대한보다 일반적인 접근 방식을 제공합니다. R과 Python은 데이터 과학을 지향하는 프로그래밍 언어 측면에서 최신 기술입니다. 물론 두 가지를 모두 배우는 것이 이상적인 솔루션입니다. R과 Python에는 시간 투자가 필요하며 그러한 사치는 모든 사람에게 제공되지는 않습니다. 파이썬은 문장을 읽을 수 있는 범용 언어입니다. 그러나 R은 통계학자가 작성했으며 특정 언어를 포함합니다. R 학계와 통계 학자들은 20년 동안 R을 개발했습니다. R은 이제 데이터 분석을 수행 할 수있는 가장 풍부한 생태계..

우선, Anaconda는 무엇일까요? Anaconda가 실제로 의미하는 바와 그 의미에 대해 조사하기 전에 먼저 Conda에 대해 알아 봅니다. 콘다의 공식 블로그 Conda는 Windows, macOS 및 Linux에서 실행되는 오픈 소스 패키지 관리 시스템 및 환경 관리 시스템입니다. Conda는 패키지 및 해당 종속성을 빠르게 설치, 실행 및 업데이트합니다. Conda는 로컬 컴퓨터의 환경을 쉽게 생성, 저장,로드 및 전환합니다. 파이썬 프로그램용으로 만들어졌지만 어떤 언어로든 소프트웨어를 패키지하고 배포 할 수 있습니다. 왜 콘다로 갑자기 이야기가 나왔을까요? 우리는 모두 파이썬으로 작성된 소프트웨어 패키지를 설치하고 관리하는 데 사용되는 패키지 관리 시스템이라는 것을 알고 있습니다. 그것은 한계..

Jupyter Notebook은 무엇입니까? 이 페이지에서는 Jupyter Notebook 환경의 주요 구성 요소를 간략하게 소개합니다. 보다 완전한 개요는 참조를 참조하십시오. Notebook document Notebook documents는 Jupyter Notebook App에서 제작한 문서이며 컴퓨터 코드(예 : python)와 서식있는 텍스트 요소 (단락, 방정식, 그림, 링크 등)를 모두 포함합니다. 노트북 다큐먼츠는 분석 설명 및 결과 (그림, 표 등)가 포함된 사람이 읽을 수 있는 문서이며 데이터 분석을 수행하기 위한 실행 가능한 문서입니다. Jupyter Notebook 앱 Jupyter Notebook App은 웹 브라우저를 통해 노트북 다큐먼츠를 편집하고 실행할 수 있는 서버 클라이..

import requests import bs4 query = "안심전환대출" page = 1 for i in range(1, page+1): url = 'https://search.daum.net/search?w=news&sort=recency&q={}&cluster=n&DA=STC&s=NS&a=STCF&dc=STC&pg=1&r=1&p={}&rc=1&at=more&sd=&ed=&period=' real_url = url.format(query, i) news = requests.get(real_url) news_bs = bs4.BeautifulSoup(news.content, 'lxml') news_list = news_bs.findAll('div', class_="cont_inner") for i i..

코드 import requests import bs4 naver = requests.get('https://www.naver.com/') naver_bs = bs4.BeautifulSoup(naver.content, 'lxml') span_list = naver_bs.find_all('span', class_='ah_k') span_list = set(span_list) realtime_list = [] for sp in span_list: realtime_list.append(sp.text) print(realtime_list) 출력 결과 [ '조국 여배우', '와우 클래식', '새싹보리', '노브라티', 'g7 국가', '코오롱티슈진', '안심전환대출', '이우연', '김용호', '위대한 쇼', '홍..

코드 import requests import bs4 year = "2021" month = "01" si = "1100000000" area = [] address = [] name = [] contractor = [] households = [] url = 'http://estate.mk.co.kr/newapt/danji_list.php?enter_year={}&enter_month={}&si_name={}' real_url = url.format(year, month, si) data = requests.get(real_url) data_bs = bs4.BeautifulSoup(data.content, 'lxml') data_list = data_bs.find_all('tr') data_list.p..

특징, 속성 (feature, attribute)특징이란 학습 모델로 정답을 도출하기 위해 고려할 데이터를 의미합니다. 의미 있는 특징이 많으면 그만큼 학습이 용이합니다. 일련의 특징을 특징 벡터라고도 합니다. 특징을 속성이라고도 부릅니다. 레이블, 클래스 (lable, class)레이블이란 특징 벡터를 머신러닝 모델에 통과 시켰을 때 도출되기를 기대하는 정답입니다. 클래스도 레이블과 같은 의미를 가집니다. 머신러닝 분야에서는 표준 용어가 정립되어 있지 않습니다. 주로 레이블이나 클래스라는 용어를 혼용합니다. 인스턴스, 사례, 샘플 (instance, example, sample)인스턴스란 학습 데이터에 포함된 하나의 특징벡터를 의미합니다. 지도학습의 경우 레이블이 부여된 특징 벡터가 될 것입니다. 같은..

파이썬 프로그래밍 기본 용어 정리 패키지패키지는 관련 있는 모듈들의 묶음을 뜻합니다. 폴더의 형태로 존재합니다. 모듈모듈을 관련 있는 클래스, 함수, 변수 등을 포함하는 묶음입니다. 파이썬 파일 형태로 존재합니다. 함수함수는 특정 기능을 수행하는 코드 묶음으로 파라미터를 입력받습니다. 그리고 특정한 처리를 합니다. 마지막으로 결과를 반환합니다. 파이썬에서는 def 키워드로 함수를 정의합니다. 파라미터파라미터는 함수에 주어지는 입력입니다. 파이썬에서는 튜플 형식의 입력이 있습니다. 또, 키워드 형식의 입력을 지원합니다. 튜플 형식은 순서를 맞춰서 전달합니다. 키워드 형식은 키워드로 전달하는 입력입니다. 튜플 형식의 파라미터의 경우 꼭 전달해야 합니다. 키워드 형식의 파라미터의 경우 기본값이 존재합니다. 따..

MNIST 숫자 인식 - hidden layer 수: 3 - 각 hidden layer의 node 수: 64, 64, 64- activation: ReLU- optimizer: SGD (learning rate=0.001)- weight initialization: Xavier- batch size: 200(가) (10점) Tensorflow를 사용하여 위에 주어진 feed-forward 네트워크 구조를 구현하여 50 epoch 동 안 학습한 후, training data와 validation data의 training curve를 그리시오. (Hint: 수업 자료 마지 막 실험) (나) (10점) 모든 hidden layer의 node 수를 512로 변환한 후, (가)와 동일한 실험을 진행하고 그 결과..

음성 처리 기본 (가) (5점) Scipy.io 에 포함된 wavfile 함수를 사용해서 주어진 ‘q2.wav’ 음성 파일을 읽고, 이를 스피 커로 출력, 그리고 MatplotLib를 사용하여 화면에 파형을 그리는 python code를 작성하시오. (나) (10점) 음성 신호의 샘플링 주파수를 구하고, 그 의미에 대해 간단히 설명하시오. (다) (10점) 음성 신호의 전체 샘플 수로부터 물리적인 총 시간 (sec)이 얼마인지 구하시오 import numpy as npimport scipy.io as sioimport scipy.io.wavfileimport matplotlib.pyplot as plt import sounddevice as sd # 3-가samplerate, data = sio.wavf..

영상 처리 기본(가) (5점) MatplotLib에 포함된 imread 함수를 사용하여 주어진 ‘q1.png’ 영상 파일을 읽고, 이를 화 면에 display하는 python code를 작성하시오.(나) (10점) 영상 파일은 Red, Green, Blue의 세 가지 색으로 구성되어 있다. (가)에서 읽은 데이터로 부터 R, G, B 값의 최댓값 (R_max, G_max, B_max)과 평균값 (R_avg, G_avg, B_avg)을 구하시 오.(다) (10점) (가)에서 읽은 영상 데이터의 각 픽셀 값의 컬러를 다음과 같이 바꾸어 화면에 display 하시오. (R → G, G → B, B → R) import matplotlib.pyplot as pltimport matplotlib.image as ..

카드 포커 게임 (가) (10점) 다음 python code를 실행하고, 각 function에 대해 자세히 설명하시오.(나) (15점) 포커 랭킹 (Royal Flush, Straight Flush, Four of a Kind, Full House, Flush, Straight, Three of a Kind, Two Pair, One Pair, High Card)을 참조해서 주어진 5장의 카드가 어떤 랭킹인지 구분하는 함수 ‘ranking()’ 코드를 추가하시오. (단, 모든 랭킹을 구분할 필요는 없 고, 위에 주어진 랭킹 중, 최소 3개에 대해서 구현해도 됨.) import random # ranking을 알려주고 리턴함def ranking(Player): if isFlush(Player.hand) i..

udemy 강좌를 핸드폰 lte로 수강하는 거는 어느정도 가능하였습니다. 하지만 데스크탑으로 하면 유난히 버퍼링이 심하였습니다. 여러 팁들을 활용해보았지만, 역시나 다운로드 하는 것이 제일 좋은 방법인 것 같아보였습니다. 결국 데스크탑에서 강좌를 다운로드하는 방법을 알아보았습니다. https://github.com/r0oth3x49/udemy-dl git에 오픈 소스를 잘 구현해준 것이 있습니다. 이 소스 코드를 활용해서 다운로드를 받을 수 있습니다. 우선 해당 깃을 클론해 오겠습니다. 그리고 필요한 패키지들을 설치합니다. git clone https://github.com/r0oth3x49/udemy-dl.git pip install -r requirements.txt 그 다음 내 강좌를 다운로드 하기..

이전에 포스팅했던 내용과 랜덤 번호를 추출하는 알고리즘을 활용해서 매주 10개씩 번호를 추천해주는 프로그램을 개발해 보았습니다. 전체적인 프로젝트를 공유하기 전에 세세한 기능들에 대해 알아보도록 하겠습니다. 이번 포스팅에서는 로또 랜덤 번호를 추출하는 파이썬 예제를 알아보겠습니다. 45개 번호를 중복되지 않고 순서대로 받도록 합니다. 파이썬 자체가 문자열을 워낙 가볍고 쉽게 다룰 수 있어 다른 언어 보다 쉽게 프로그래밍을 할 수 있습니다. 구매할 로또 번호의 개수를 입력하고 그 개수 만큼 번호를 추천 받아 추출하는 예제입니다. import random buy = int(input("lotto 구매 개수를 입력 : ")) print("----------------------") for x in range(..

이번 포스팅은 python을 활용하여 xml을 json으로 변환하는 방법입니다. 우선적으로 변환을 하기 위해 관련 xmltodict 패키지를 다운받아야합니다. pip install xmltodict 라이브러리를 다운 받았다면 우선 임의의 xml 파일을 생성합니다. xml_to_json.xml Earth 183cm Jupiter 175cm Mars 168cm cs xml을 생성하셨다면 아래와 같은 python 코드를 작성합니다. 저와 똑같이 작성하셔도 무방하지만 다르다면 파일명과 확장자를 맞춰주셔야합니다. xml_to_json.pyimport jsonimport xmltodict with open("xml_to_json.xml",'r') as f: xmlString = f.read() print("xml ..

생성한 프로그램이 알려주는 숫자를 제가 직접 메신저로 저에게 보내곤 했습니다.그러는 과정에서 조금 불편하였고 직접 제 메일로 보내준다면 편리할 것이라 생각하였습니다.python에는 smtp 라이브러리가 있어 쉽게 접근할 수 있었습니다.사용자분들도 로또 숫자 뿐만 아니라 다양한 내용들을 본인이나 다른 사람들에게 보내고 싶을 떄 응용하면 좋을 것 같습니다. import smtplibfrom email.mime.text import MIMEText smtp = smtplib.SMTP('smtp.gmail.com', 587)smtp.ehlo() # say Hellosmtp.starttls() # TLS 사용시 필요smtp.login('나의아이디@gmail.com', '비밀번호') msg = MIMEText('본..

이번 회차에서는 로또 번호를 학습하기 전에 데이터를 파싱하는 방법에 대해 포스팅하겠습니다. 물론 데이터를 저장하고 읽어오는 방법이 많지만 웹을 활용해 기존 로또 당첨 번호를 json 형식으로 받아와 매주 최신화된 로또 번호를 받아 올 수 있도록 구현하였습니다. http://www.nlotto.co.kr/common.do?method=getLottoNumber&drwNo=825 해당 url를 익스플로러나 크롬 주소창에 입력하시면 아래와 같은 리턴 값을 확인할 수 있습니다. {"bnusNo":42,"firstAccumamnt":19904526756,"firstWinamnt":1658710563,"returnValue":"success","totSellamnt":82890578000, "drwtNo3":21,..

파이썬과 텐서플로우를 활용한 머신 러닝 프로그램 개발을 위한 개발환경을 세팅해야합니다. https://www.anaconda.com/download/ 위에 사이트에 들어가서 아나콘다를 먼저 설치합니다.저는 파이썬 3.x 버전으로 설치하였습니다.왜 2.x 말고 3.x를 쓰냐고 물으시면 이유는 잘 모릅니다. 엣헴.. 설치가 완료되면 Anaconda Prompt를 실행합니다. conda update -n base condacs Anaconda Prompt에 들어오면 conda 패키지 관리자를 사용할 수 있습니다. 먼저 conda 자체를 업데이트합니다. conda update --allcs 다음엔 설치된 파이썬 패키지를 모두 최신 버전으로 업데이트합니다. pip install --upgrade tensorflo..