쵸코쿠키의 연습장

이번 과제에서는 두 distribution p(x)와 q(x)의 KL divergence는 로 정의됩니다. 두 distribution p(x)와 q(x)을 라고 가정할 때, 가 되는 것을 증명해야 합니다. 우선 공식은 위와 같습니다. 뒷 수식 부터 우선 적분을 진행합니다. 따라서, 다음과 같이 쓸 수 있습니다. 그리고 위와 같이 분리할 수 있습니다. 다음과 같이 정리할 수 있습니다. 그 다음, 수식을 위와 같이 나누어 줍니다. ⟨⟩를 p 아래의 기대 연산자로 표시하면 다음과 같이 다시 작성할 수 있습니다. var(x) = - 이므로 위 식으로 정리할 수 있습니다. 따라서 식에 넣어 위와 같이 표현할 수 있습니다. 정리한 내용을 종합하면 값을 넣어주면 아래와 같은 식을 얻을 수 있습니다. KL Diverg..

Residual 네트워크의 약자인 ResNet은 많은 컴퓨터 비전 작업의 중추로 사용되는 클래식 신경망입니다. 이 모델은 2015 년 ImageNet 챌린지에서 우승했습니다. ResNet의 근본적인 혁신은 150개 이상의 레이어로 매우 깊은 신경망을 성공적으로 훈련 할 수 있다는 것입니다. ResNet 이전에는 그라디언트 소실 문제로 인해 딥 뉴럴 네트워크의 학습은 매우 어려웠습니다. ImageNet 2012의 우승자이자 딥 러닝에 초점을 맞추기 시작한 모델인 AlexNet은 8개의 컨볼루션 레이어, VGG 네트워크는 19 개, Inception 또는 GoogleNet은 22 개 레이어, ResNet 152는 152 개 레이어로 구성되었습니다. 그러나 단순히 계층을 함께 쌓아 네트워크 깊이를 늘리는 것은..

머신 러닝의 few shot learning 이해 머신 러닝은 최근 몇 년간 엄청난 성장을 경험했습니다. 이러한 놀라운 성장을 이끄는 요인 중 일부는 알고리즘 및 학습 모델의 정교성 향상, 기계의 컴퓨팅 기능 향상 및 빅데이터의 가용성 증가를 포함합니다. 머신 러닝 경험이 5 년 이상이고 현재 사람들에게 자신의 기술을 가르치고있는 AndreyBu는 “데이터는 성공을 보장하는 머신 러닝 훈련 학습 모델의 핵심입니다. 충분하고 양질의 데이터를 제공하는 학습 모델은 더 정확한 결과를 얻을 수있을 것”이라고 덧붙였습니다. 그러나 때로는 모델의 정확도를 높이기 위해 충분한 데이터를 축적하는 것은 비현실적이고 달성하기 어렵습니다. 예를 들어, 엄청난 비즈니스 상황에서 샘플 라벨링은 비용이 많이 들고 관리하기가 어렵..

깃허브에 존재하는 좋은 코드들을 활용하였습니다. 이번 예제에서는 CIFAR10 클래스를 우선적으로 5개만 훈련을 시킵니다. 그 다음에, 훈련된 모델을 가지고 레이어 마지막 부분을 수정하여 10개의 클래스로 수정해 훈련을 진행합니다. 해당 결과와 코드를 확인해 보겠습니다. import numpy as np from matplotlib import pyplot as plt import keras from keras.datasets import cifar10 from keras.layers import Dense, Convolution2D, Flatten, Activation, MaxPooling2D, Dropout from keras.models import Sequential from keras.utils..

기초적으로 제공되는 imageNet을 활용하여 구현을 진행하였습니다. 좋은 깃허브에 있는 코드를 참고하여 구현을 진행하였습니다. python 버전이나 상이한 부분들을 수정하여 진행하였습니다. from keras.models import load_model import numpy as np from tqdm import tqdm from keras import models from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Conv2D, MaxPooling2D from keras.applications.vgg16 import VGG16,pre..

과제 """ [HW3] CIFAR-10 classification * CIFAR-10 testset 소개 32x32 three color = 3072 dimensions per sample 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭의 10가지 클래스로 이뤄져 있으며, 60000개(트레이닝셋 50000 / 테스트셋 10000)의 이미지(클래스당 6000개)를 포함한 데이터셋. === HW #3 내용 =========================================== * 필수사항 (100점) 1. Model Saver 기능 포함 필요 2. Random sample or sample index 지정하여 visualization & 추정결과 plotting (MNIST 과제..

과제 """ [HW3] CIFAR-10 classification * CIFAR-10 testset 소개 32x32 three color = 3072 dimensions per sample 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭의 10가지 클래스로 이뤄져 있으며, 60000개(트레이닝셋 50000 / 테스트셋 10000)의 이미지(클래스당 6000개)를 포함한 데이터셋. === HW #3 내용 =========================================== * 필수사항 (100점) 1. Model Saver 기능 포함 필요 2. Random sample or sample index 지정하여 visualization & 추정결과 plotting (MNIST 과제..

과제 """ * CIFAR-10 testset 소개 32x32 three color = 3072 dimensions per sample 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭의 10가지 클래스로 이뤄져 있으며, 60000개(트레이닝셋 50000 / 테스트셋 10000)의 이미지(클래스당 6000개)를 포함한 데이터셋. === HW #3 내용 =========================================== * 필수사항 (100점) 1. Model Saver 기능 포함 필요 2. Random sample or sample index 지정하여 visualization & 추정결과 plotting (MNIST 과제와 비슷) 3. Testset Accuracy 90% ..

코드 import numpy as np import matplotlib.pyplot as plt import glob from PIL import Image %matplotlib inline for image_path in glob.glob("./my_data/*.png"): print("image_path : {}".format(image_path)) img = Image.open(image_path).convert("L") plt.imshow(img) plt.show() img = np.resize(img, (1,784)) im2arr = ((np.array(img) / 255) - 1) * -1 print(im2arr.shape) print(type(im2arr)) print("Prediction:..

%matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt import math from keras.utils.np_utils import to_categorical from keras.models import Sequential, load_model, Model from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPool2D MNIST 예제를 수행하기 전에, 필요한 라이브러리들을 임포트합니다. from keras.datasets import mnist (x_train, y_train), (x_test, y_test ) = mnist.load_da..