본문 바로가기

SW/딥러닝

52. 딥러닝 : 실제 데이터를 균형잡히게 만들어야 하는 이유 사전 처리를 시작하기 전에 잠시 데이터 세트 밸런싱의 중요성에 대해 이야기 하겠습니다. 두 클래스 고양이와 강아지의 사진 분류 문제에 대해 생각해 보겠습니다. 좋은 모델에서 기대하는 정확도는 어느 정도일까요? 사진의 70%를 정확하게 분류한다면 그리 나쁘지 않을 것입니다. 80%의 정확도는 좋은 반면 90%는 초보자에게 매우 좋습니다. 구글과 페이스북의 분류가 대부분의 문제에서 99.9퍼센트 정확도를 달성하는 것에 대해 말하는 것이 아닙니다. 90% 정확도는 인상적인 성과입니다. 이제 알고리즘에 무엇을 먹이든 동물 사진을 찍고 고양이만 출력하는 모델을 상상해 보세요. 항상 정답으로 고양이를 출력합니다. 좋은 모델은 그렇지 않아요. 이 기계에게 물어볼 수 있을 까요? 원하는 기계 학습 알고리즘의 결과는 분..
51. 딥러닝 : 비즈니스 솔루션 : 필요한 절차, 사례 서비스를 개발하기 위해 무엇이 필요한 지 알아보았습니다. 실생활 데이터로 작업하고 있기 때문에 어떻게 할 것인지 살펴 보았습니다. 데이터 과학 팀의 머신 러닝을 위해서는 사전 처리가 중요합니다. 분석을 위한 데이터 세트를 준비하는 것이 작업입니다. 이것이 여기에서 머신 러닝 알고리즘을 처음부터 생성하기 위한 몇 가지 일반적인 기술을 보여 드리고자 합니다. 세 가지 중요한 단계가 필요합니다. 첫 번째 단계는 데이터 세트의 균형을 맞추는 것입니다. 두 번째 단계는 데이터 세트를 훈련 검증과 테스트로 세 부분으로 나누는 것입니다. 이미 수행해야하는 이유를 이미 알고 있습니다. 이제 처음부터 수행하는 방법을 살펴 보겠습니다. 새로 생성된 세트를 텐서 친화적인 형식으로 저장합니다. 마지막으로 기계 학습 알고리즘을..
50. 딥러닝 : 사용자 예측 사례 : 이용자가 물품을 재구매하는 지 예측 방법 안녕하세요. 기본적인 비즈니스 사례에 대해 알아보겠습니다. 이미 알고있는 모든 것을 단순히 적용하는 것입니다. 문제가 있습니다. 오디오 북 앱을 논리적으로 데이터베이스의 각 고객이 최소 한 번 이상 구매 한 도서의 오디오 버전과 관련된 데이터가 있습니다. 데이터를 기반으로 머신 러닝 알고리즘을 만들어 고객은 오디오 북 회사에서 다시 구매할 것을 예측합니다. 주된 아이디어는 회사가 돌아올 가능성이 없는 개인을 대상으로 광고 예산을 지출해서는 안된다는 것입니다. 다시 전환 할 가능성이있는 고객에게 노력을 집중할 수 있다면 매출 및 수익성 개선 수치를 얻을 수 있습니다. 따라서 모델은 몇 가지 측정 항목을 취하고 인간 행동을 예측하려고 노력할 것입니다. 모델이 고객이 돌아 오는 데 가장 중요한 측정 항목이 무..
49. 딥러닝 : MNIST : 훈련 모델 백테스팅 하는 방법, 예제, 구현 모듈 임포트, 데이터 전처리, 데이터 import numpy as np import tensorflow as tf import tensorflow_datasets as tfds mnist_dataset, mnist_info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = mnist_dataset['train'], mnist_dataset['test'] num_validation_samples = 0.1 * mnist_info.splits['train'].num_examples num_validation_samples = tf.cast(num_validation_samples, tf.int64) n..
48. 딥러닝 : MNIST : 데이터 나누어서 훈련 진행, 예제, 구현 패키지 임포트 import numpy as np import tensorflow as tf import tensorflow_datasets as tfds 이번 포스팅에서도 동일하게 패키지 임포트를 진행합니다. 패키지를 설치하는 방법이나 활용하는 방법은 이전 포스팅을 참조해주세요. 데이터 전처리 mnist_dataset, mnist_info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = mnist_dataset['train'], mnist_dataset['test'] num_validation_samples = 0.1 * mnist_info.splits['train'].num_examples nu..
47. 딥러닝 : MNIST : 모델링 및 컴파일 하는 과정, 예제, 구현 패키지 임포트 import numpy as np import tensorflow as tf import tensorflow_datasets as tfds 계속 포스팅해왔던 것 처럼, 필요한 패키지를 임포트를 진행합니다. 필요한 라이브러리를 설치하고, 진행합니다. 데이터 전처리 mnist_dataset, mnist_info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = mnist_dataset['train'], mnist_dataset['test'] num_validation_samples = 0.1 * mnist_info.splits['train'].num_examples num_validati..
46. 딥러닝 : MNIST : 훈련을 위해 데이터를 모델링 하는 방법, 예제 패키지 임포트 import numpy as np import tensorflow as tf import tensorflow_datasets as tfds 기존 처럼 동일하게 패키지 임포트를 진행해줍니다. 해당 내용은 다른 포스팅에서 언급했으므로, 이번 포스팅에서는 따로 언급하지 않겠습니다. 데이터 전처리 mnist_dataset, mnist_info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = mnist_dataset['train'], mnist_dataset['test'] num_validation_samples = 0.1 * mnist_info.splits['train'].num_examp..
45. 딥러닝 : MNIST : 훈련을 위해 데이터를 분류하는 방법, 구현 패키지 임포트 import numpy as np import tensorflow as tf import tensorflow_datasets as tfds 필요한 패키지를 임포트 합니다. 임포트 내용은 이전에 했던 포스팅을 참조해주시면 감사하겠습니다. 데이터 전처리 mnist_dataset, mnist_info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = mnist_dataset['train'], mnist_dataset['test'] num_validation_samples = 0.1 * mnist_info.splits['train'].num_examples num_validation_samp..