인공지능 : 활성화 함수, 원핫인코딩, 소프트맥스, 멀티클래스 : 개념, 원리

Activation 함수

뉴런의 상호 작용을 담당합니다. 

이러한 중요한 역할을 하는 Activation 함수들의 종류도 다양한 데 어떠한 것을 선택해야 할까요?

우선 주목해야 할 것은 비선형성입니다.

현실의 데이터는 n차원 비선형 분포로 존재합니다. 따라서 활성화 함수는 신경망에서 비선형 분포를 반영할 수 있도록 하는 역할을 담당합니다. 

무엇이 좋은 activation 함수일까요? 이전에는 시그모이드 함수를 사용해왔습니다. 하지만 시그모이드 함수는 문제점이 존재하였고, 대책으로 좋은 RELU 활성화 함수가 제안되었습니다.

One Hot Encoding

N개의 Class를 가진 데이터의 Y Target 값을 설정할 때 One Hot Encoding을 사용합니다. N 사이즈의 배열에서 0, 1을 사용하여 해당하는 Class를 표현합니다. 

Softmax Activation

n 개 이상의 class의 확률 분포를 계산할 때 사용합니다. 

Multi-Class Classification

다양한 클래스를 분류하는 것을 의미합니다. 이러한 다양한 클래스를 분류하기 위해서는 One Hot Encoding 방식과 소프트맥스 Activation을 활용해야 합니다.