인공지능 : 손실 함수, 최적화, 백프로파게이션 : 개념, 개요

Error Function, Cost Function, Loss Function

이 세 함수는 다 같은 것을 의미합니다. 신경망 모델이 피드포워드 계산한 값과 실제 타겟 값을 비교하는 데 사용되는 함수입니다. 다양한 손실 함수들이 존재하며, 데이터 성격에 맞는 함수를 사용합니다. 대표적으로는 MSE (mean square error), categorical cross-entropy를 많이 사용합니다.

MSE (mean square error)

평균 제곱근 편차를 의미합니다. 

Optimizer

신경망에서 1차 함수에 w, b를 어떻게 업데이트 시킬 것인지에 사용되는 알고리즘을 의미합니다. 다양한 최적화 메소드가 존재합니다. Gradient descent가 대표적입니다.

Back Propagation

아웃풋 값의 편차를 통해, w, b를 찾아가는 과정을 의미합니다. 이 과정에서 최적화 함수를 활용하게 됩니다.

딥 뉴럴 네트워크

딥 뉴럴 네트워크는 여러개의 레이어가 겹쳐진 신경망을 의미합니다. 모든 인풋에 대하여 피드포워드와 백프로파게이션을 동작한 것을 한번의 훈련으로 간주합니다.