쵸코쿠키의 연습장

딥 러닝은 이전에는 "딥 러닝"으로 불리지 않았습니다. 과거에는 신경망, 다층 퍼셉트론 또는 단순 퍼셉트론과 같은 여러 이름이 있습니다. 우리는 그 이름들을 다음과 '딥러닝' 같이 바꾸어 사용하고 있습니다. 실제로 많은 연구자들은 한때 퍼셉트론에 대한 아이디어를 포기했습니다. 퍼셉트론의 아이디어는 실제로 쓸모가 없을까요? 그렇게 생각하지 않습니다. 신경망은 크게 알려지지 않은 분야이며 많은 연구가 필요합니다. 그러므로 무지하지만 강력한 영향력을 어필하기 위해서는 "딥 러닝"의 브랜드 변경이 필요한 것이었습니다. 앤드류 응 (Andrew Ng)은 마케팅 전문가로서 이 새로운 브랜드인 딥 러닝을 전파했습니다. 퍼셉트론의 브랜드 변경은 오늘날의 명성에 부분적으로 기여했습니다. 아마도 오늘날 유명 해지는 가장 ..

딥 뉴럴 네트워크는 매우 큰 수학적 함수입니다. 매우 우아한 기능이지만 계산량이 매우 높습니다. 먼저 “딥” 신경망을 수학적으로 렌더링하면 아래와 같습니다. f1 (f2 (f3 (f4 (f5 (x))))) 일반적으로 심층 신경망에는 기능 내 기능 (일반적으로 약 30 ~ 100 개의 층)을 의미하는 더 많은 "계층"과 더 많은 인수 / 매개 변수 (신경망이 원본 고품질 이미지 파일을 분석하는 경우 512x512 매개 변수)가 있습니다. 이제 엄청 무거운 함수가 되는 것입니다. 이 아키텍처가 왜 데이터 분석에 효과적일까요? 각 기능이 서로 의존한다는 것입니다. 독립적인 기능이 아닙니다. 그것들은 모두 어떻게든 연결되어 있으며, 각각의 변화는 전체 모델에 영향을 미치는 변화의 연쇄 반응을 나타냅니다. 우리 ..

헬스 케어 데이터 의료 서비스 제공 업체는 숙련된 의료진의 역량을 능가하고, 기존의 분석 방법이 다른 방법으로 처리 할 수 있는 한계를 넘어서는 속도로 막대한 양의 비정형 데이터를 생성하고 캡처합니다. DL 기술이 자율적으로 추출된 특징에 기초하여 패턴을 발견하고 구조를 인식하는 능력으로 인해, 가장 먼저 떠오르는 적용은 진단입니다. 예를 들어 방사선학에서 악성 암 구조의 검출을 위한 지능형 이미지 분석이 있습니다. AI가 MRI의 물리학에 매우 가까운 응용 프로그램에서 컨텐츠 기반 이미지 검색에 이르기까지 여러 수준에서 의료 이미징에 제공하는 가치에 대해 논의하겠습니다. DL 기술은 의료 이미징 워크 플로우의 모든 부분에 퍼질 수 있습니다. 그러나 DL은 의사의 역할을 대체하는 것이 아니라 지능형 지원..

사람들이 혈액 및 소변 검사를 받도록 안내할 수 있는 세상을 상상해 보았습니다. 이 모든 것이 건강 관리 기록, 게놈 데이터, 의료 이미지, 심박수를 모니터링하는 과거 데이터, 혈압을 분석하는 AI 시스템에 의해 결정될 수 있습니다. 그리고 이 시스템에 의해 권장된 사항은 수백만 명의 환자를 관찰한 수 천 개의 훈련 사례가 있는 수백만 개의 세포 생물학 데이터 세트를 기반으로 합니다. 혈액 검사에서 신체 변화 또는 신체 유전자에서 발현된 모든RNA 분자의 합계가 감지될 수 있습니다. 소변 검사는 또한 대사 산물의 변경 또는 모든 대사 산물의 총합 (대사 기능에 필요한 물질)을 감지하여 신경 근성 퇴행성 장애가 있음을 시사합니다. 태어날 때 자궁에서 관련 병원성 변형체를 조작할 수 있었기 때문에, AI 시..

import matplotlib.pyplot as plt import numpy as np from keras.layers import * from keras.utils import * from keras.models import * from collections import Counter %matplotlib inline 우선 필요한 라이브러리들을 선언합니다. 만약 설치되어 있지 않다면 설치를 진행해주세요. x = np.random.uniform(-np.pi, np.pi, 500) y = np.random.uniform(-1, 1, 500) X = np.asarray([[x[i], y[i]] for i in range(500)]) sine = np.sin(x) Y = sine < X[:, 1] plt...

이번 포스팅에서는 하이퍼 파라미터에 대해 알아보겠습니다. 하이퍼 파라미터는 모델을 학습할 떄, 외적인 요소로 학습에 영향을 미치는 파라미터들입니다. 대표적으로 어떤 것들이 있고, 어떠한 것인지 매우 간략하게 알아보았습니다. learning rate : 런닝 레이트 보통 런닝 레이트를 학습률이라고 이해하면 됩니다. 위 함수들은 대표적인 최적화 함수들입니다. 따라서, 최적화를 진행할 떄, 어느정도로 학습을 하여 진행을 할지 정하는 값들입니다. 너무 크면, 최적화할 곳을 지나가버리는 단점이 있습니다. 하지만, 너무 작아도, 최적화할 곳을 찾지 못하고, 머무르는 현상이 있을 수 있습니다. 따라서, 여러 대표값들을 적용해 학습을 진행해야 합니다. overfitting : 오버피팅 트레이닝을 할 떄, 조심해야 하는..

Stochastic Gradient Descent이란 무엇일까요?SGD(Stochastic Gradient Descent)에 대해 이야기하기 전에 먼저 Gradient Descent 란 무엇일까요? 그라디언트 디센트는 머신 러닝 및 딥 러닝에서 널리 사용되는 최적화 기술이며 대부분의 학습 알고리즘과 함께 사용할 수 있습니다. 그라디언트는 기본적으로 함수의 기울기입니다. 다른 파라미터의 변화량에 따른 파라미터의 변화 정도. 수학적으로 입력과 관련하여 매개 변수 집합의 부분 파생으로 설명 할 수 있습니다. 기울기가 많을수록 경사가 더 가파릅니다. 그라디언트 하강은 볼록한 기능입니다. 그라디언트 디센트는 비용 함수를 가능한한 최소화하는 함수의 매개 변수 값을 찾는 데 사용되는 반복적 방법으로 설명 할 수 있습..

소프트웨어 에이전트에이전트”에 대한 공식적인 정의 [Wooldridge, 2002]는 다음과 같습니다. 에이전트는 일부 환경에 위치한 컴퓨터 시스템입니다. 설계를 충족시키기 위해 환경에서 자율적인 작업 가능합니다. 목표• 주요 속성– 자율성 : 독립적으로 행동 할 수 있으며, 통제력을 보여줍니다- 내부 상태와 행동– 상황 • 살 곳 : 일부 환경에서 • 지각 능력 : 환경을 지각하는 능력 • 이펙터 기능 : 환경을 수정하는 기능– 지속성 : 살아있는 한 계속 작동합니다. • 적응 : 상담원은 환경과 사용자에 적응 경험– 기계 학습, 지식 발견, 데이터 마이닝 등을 통해– 메타 데이터 교환, 중개 및 촉진을 통해– 인터페이스 에이전트는 사용자 모델을 획득하고 사용합니다.– 환경에 위치하고 있습니다. • 협..

에이전트는 무엇입니까? - “에이전트는 센서를 통해 환경을 인식하고 이펙터를 통해 해당 환경에 작용하는 것으로 볼 수있는 모든 것입니다.” - "자율 에이전트는 복잡한 동적 환경에 거주하고이 환경에서 자율적으로 감지 및 행동하는 컴퓨팅 시스템이며, 이를 통해 일련의 목표나 작업을 실현할 수 있습니다." - "자율 에이전트는 환경에 감지되고 환경을 감지하고 시간이 지남에 따라 자체 안건을 추구하고 미래에 감지되는 영향을 미치기 위해 환경에 작용하는 시스템입니다." - "자율성, 사회적 능력, 반응성, 능동성이라는 속성을 즐기는 하드웨어 또는 소프트웨어 기반 컴퓨터 시스템" - “지능형 에이전트는 세 가지 기능을 지속적으로 수행합니다. 환경의 동적 조건에 대한 인식; 환경 조건에 영향을 미치는 행동; 지각을..

지능형 에이전트지능형 에이전트는 설계 목표를 달성하기 위해 유연한 자율 작업을 수행 할 수있는 에이전트입니다. 즉 에이전트와 유연성을 둘 다 가지고 있다고 생각하면 좋습니다. 유연성에 대한 속성– 반응성 : 에이전트는 환경을 인식하고 디자인 목표를 충족시키기 위해 환경 변화에 적시에 대응할 수 있습니다.– 사전 대응성 : 지능형 에이전트는 설계 목표를 충족시키기 위해 이니셔티브를 취함으로써 목표 지향적 행동을 보일 수 있습니다.– 사회적 능력 : 지능형 에이전트는 설계 목표를 충족시키기 위해 다른 에이전트 (및 가능한 사람)와 상호 작용할 수 있습니다. 공개 연구 문제– 순전히 반응성은 구현이 쉽다.– 반응하는 것 자체는 어려운 것은 아닙니다– 그러나 유연성 사이의 균형을 잡을 수 있는 에이전트 디자인은..

Activation 함수뉴런의 상호 작용을 담당합니다. 이러한 중요한 역할을 하는 Activation 함수들의 종류도 다양한 데 어떠한 것을 선택해야 할까요? 우선 주목해야 할 것은 비선형성입니다. 현실의 데이터는 n차원 비선형 분포로 존재합니다. 따라서 활성화 함수는 신경망에서 비선형 분포를 반영할 수 있도록 하는 역할을 담당합니다. 무엇이 좋은 activation 함수일까요? 이전에는 시그모이드 함수를 사용해왔습니다. 하지만 시그모이드 함수는 문제점이 존재하였고, 대책으로 좋은 RELU 활성화 함수가 제안되었습니다. One Hot EncodingN개의 Class를 가진 데이터의 Y Target 값을 설정할 때 One Hot Encoding을 사용합니다. N 사이즈의 배열에서 0, 1을 사용하여 해당하..

Binary Classification Output Y (Target 출력)딥 러닝에서는 그룹이라는 용어를 사용하지 않고 Class 용어를 사용합니다. 분류 출력은 입력이 어떤 Class에 속할지에 대한 확률을 의미합니다. 신경망은 확률을 0~1로 표현합니다. 바이너라 분류의 경우 Y 타겟을 0, 1로 표현합니다. X (입력)신경망에서 보통 하나의 입력은 하나 이상 여러가지 특징을 가지고 있습니다. 하나의 특징을 지칭할 떄 Feature라는 용어를 사용합니다. 신경망 입력은 n개의 feature 정보를 가진 입력을 n 사이즈의 배열로 입력받을 수 있습니다. 선형 함수는 다항의 1차 함수입니다. Sigmoid Function어떤 입력을 받아도 0 ~ 1 사이에서 값을 얻을 수 있습니다. 분류를 할때는 확률..

Error Function, Cost Function, Loss Function이 세 함수는 다 같은 것을 의미합니다. 신경망 모델이 피드포워드 계산한 값과 실제 타겟 값을 비교하는 데 사용되는 함수입니다. 다양한 손실 함수들이 존재하며, 데이터 성격에 맞는 함수를 사용합니다. 대표적으로는 MSE (mean square error), categorical cross-entropy를 많이 사용합니다. MSE (mean square error)평균 제곱근 편차를 의미합니다. Optimizer신경망에서 1차 함수에 w, b를 어떻게 업데이트 시킬 것인지에 사용되는 알고리즘을 의미합니다. 다양한 최적화 메소드가 존재합니다. Gradient descent가 대표적입니다. Back Propagation아웃풋 값의 ..

딥 뉴럴 네트워크프로그램 인공 신경은 인풋, 히든, 아웃풋 레이어로 이루어져 있습니다. 퍼셉트론도 역시 유사합니다. 하지만 히든 레이어 부분이 활성화 함수와 선형 함수가 포함되어있습니다. Supervised 학습은 이 input과 output을 입력하여 신경망을 학습시키는 구조입니다. 인풋 값을 히든 레이어에서 처리한 값이 아웃풋과 같아질 수 있도록 학습을 하는 방식입니다. Regression해당 학습을 통해 만약 x 값이 입력되면 y 값이 무엇이 될지에 대해 학습을 하고자하는 것이다. 따라서 여러개의 인풋이 들어가면 각각 선형 함수와 활성화 함수를 통해 아웃풋이 나오게 됩니다. Classification새로운 점은 어떠한 그룹인지 구별을 하는 것을 의미합니다. 여러 점의 포인트 값을 주고 해당하는 그룹..

신경망에서의 배치 정규화배치 정규화를 간단한 방법으로 설명합니다. Fast.ai와 deeplearning.ai에서 배운 내용을 읽은 후, 기사를 번역하였습니다. 필요한 이유, 작동 방식, VGG와 같은 사전 훈련된 네트워크에 포함시키는 방법부터 시작하겠습니다. 배치 정규화를 사용하는 이유는 무엇입니까?활성화를 조정하여 입력 레이어를 정규화합니다. 예를 들어 0에서 1까지, 1에서 1000까지의 기능이 있으면 학습 속도를 높이기 위해 정규화해야합니다. 입력 레이어가 이익을 얻는다면, 항상 변경되는 숨겨진 레이어의 값에 대해서도 동일한 작업을 수행하고 훈련 속도를 10 배 이상 향상 시키십시오. 배치 정규화는 숨겨진 단위 값이 이동하는 양 (공분산 이동)에 따라 양을 줄입니다. 공분산 변화를 설명하기 위해 ..

딥 네트워크의 앙상블 모델의 앙상블은 여러 통계 모델의 예측을 결합하여 하나의 최종 예측을 형성하는 방법을 나타냅니다. 이것은 모델의 표현력의 다양성에 대한 기회를 열어줍니다. 이 개념은 여러 의사의 의견을 구하는 것과 같은 일화와 유사합니다. 모델의 앙상블은 의사 결정 트리를 임의의 포리스트로 업그레이드하는 것과 같이 기존의 머신 러닝 모델을 매우 일반적으로 향상시킵니다. 머신 러닝 모델과 달리 딥 모델은 학습하는 데 시간이 오래 걸리므로 처음부터 학습한 딥 모델의 앙상블을 형성하는 것은 실용적이지 않습니다. FMoW는 특정 작업에 사용되는 데이터 세트이며 Hydra의 바디는 ResNet 및 DenseNet 설계에 따라 조립 된 많은 신경망 레이어로 구성됩니다. Hydra의 각 헤드는 FMoW 데이터 ..

소개ReLU(Rectified Linear Unit)는 딥 러닝 모델에서 가장 일반적으로 사용되는 활성화 함수입니다. 이 함수는 음의 입력을 받으면 0을 반환하지만 양수 x의 경우 해당 값을 다시 반환합니다. 따라서 f (x) = max (0, x)로 쓸 수 있습니다. 그래픽적으로는 다음과 같습니다 이러한 간단한 함수(두 개의 선형 부분으로 구성된 함수)가 모델이 비선형과 상호 작용을 잘 설명 할 수 있다는 것은 놀라운 일입니다. 그러나 ReLU 기능은 대부분의 응용 프로그램에서 훌륭하게 작동하며 결과적으로 매우 널리 사용됩니다. 작동하는 이유 인터랙션 및 비선형성 소개활성화 기능은 두 가지 주요 목적으로 사용됩니다. 1) 모델이 인터랙션 효과를 설명하도록 도와줍니다.인터랙션 효과는 무엇입니까? B의 가..

분류법은 유기체의 명명, 묘사 및 분류 과학이며 세계의 모든 식물, 동물 및 미생물을 포함합니다. 분류 학자들은 형태 학적, 행동적, 유전적, 생화학적 관찰을 사용하여 과학에 새로운 것들을 포함하여 종을 분류하고 분류합니다. 분류법은 생물학적 다양성에 관한 협약의 관리 및 이행을 뒷받침하는 기본 지식을 제공하는 생물학적 다양성의 구성 요소를 식별하고 열거합니다. 불행하게도 분류학 지식은 완전하지 않습니다. 지난 250 년간의 연구에서 분류 학자들은 약 1,78 백만 종의 동물, 식물 및 미생물을 명명했지만, 총 종 수는 알려져 있지 않으며 아마도 5 천에서 3 천만 사이 일 것입니다. 종의 이름을 지정하는 방법 : 분류 과정분류 학자들은 종을 대표한다고 생각되는 세트를 분리하기 위해 표본을 분류하는 것으..

에이전트와 개체에이전트는 다른 이름으로 객체라 할 수 있을까요? 개체란 어떤 상태를 캡슐화하고, 메시지 전달을 통해 의사소통을 합니다. 또한, 특정 상태에서 수행될 수 있는 작업과 방법이 존재합니다. 에이전트와 개체의 주요한 차이점은 무엇일까요? 에이전트는 자율적입니다. 에이전트는보다 자율성 개념을 구현합니다. 특히 에이전트는 수행할지 여부를 스스로 결정합니다. 다른 에이전트의 요청에 따른 조치를 취할 줄 압니다. 에이전트은 영리합니다 : 유연한 (사후, 능동적, 사회적) 행동이 가능합니다. 표준 객체 모델은 이러한 유형의 행동에 대해 아무 반응도 하지 않습니다. 에이전트가 활성 상태인 경우 : 다중 에이전트 시스템은 본질적으로 다중 스레드입니다. 각 에이전트는 하나 이상의 활성 제어 스레드를 가지고 있..

에이전트와 전문가 시스템에이전트는 다른 이름의 전문가 시스템이 아닐까요? 전문가 시스템은 일반적으로 일부에 대해 '전문 지식'을 구현한 것입니다. 예를 들어 MYCIN은 인간의 혈액 질환에 대해 알고 있습니다. 규칙의 형태로 혈액 질환에 대한 풍부한 지식을 가지고 있습니다. 의사는 MYCIN 사실을 알려 혈액 질환에 대한 전문가의 조언을 얻을 수 있습니다. 질문에 대답하고 질문을 제기에이전트와 주요 차이점에 대해 알아보겠습니다. – 에이전트 : MYCIN은 세계를 인식하지 못합니다.사용자는 단지 질문을 통해 정보를 얻는 것입니다. – 에이전트 행동 : MYCIN은 환자에게 작동하지 않습니다.일부 실시간 (일반적으로 프로세스 제어) 전문가 시스템은 에이전트입니다.