17. 딥러닝 : 활성화함수(Activation Function) : 종류, 원리, 개념, 의미

활성화 함수 구조

 

지금 자세히 알아보지는 않았지만, 지난 포스팅에서 비선형성에 대해 이야기했습니다. 이것은 이 학습에서 기계 학습 맥락에서 다룰 주제입니다. 비선형성은 활성화 함수라고도 합니다.

활성화 함수가 입력을 다른 종류의 출력으로 변환하는 방법을 설명합니다. 외부 온도에 대해 생각해보십시오. 깨어나고 태양이 빛나고 있다고 가정합니다. 따라서 외출하고 따뜻하고 편안한 옷을 입습니다. 오후에는 온도가 내려 가기 시작하면서 손에 재킷을 들고 다닙니다. 처음에는 뇌가 차가워지고 있다고 말하더라도 어느 시점에서 큰 차이나는 행동을 하지 않습니다. 온도에서 활성화 함수는 이 입력을 재킷을 입는 행동으로 변형 시킵니다. 이것은 변환 후의 출력이기도합니다.

비선형성 배후의 논리는 온도의 변화가 선형 모델을 따르고 있었는데, 활성화 함수가 꾸준히 감소함에 따라 이 관계는 온도에 연결된 출력으로 변환되었습다. 

 

 

 

활성화 함수 종류

 

다른 활성화 함수를 가지고 있지만 가장 많이 사용되는 활성화 함수가 4개 있는 테이블이 있습니다. 한 행을 통해 테이블이 구성되는 방식을 살펴 보겠습니다. 시그모이드 함수라고도하는 S 자형이 있습니다. 그 옆에 미분이 필수 부분임을 기억할 수 있는 미분을 가지고 있습니다. 자연스럽게 작업 할 때 미분을 계산할 필요가 없습니다.

목적은 이러한 함수를 이해하는 것입니다. 그래프와 범위는 동작 방식에 대한 직감을 얻을 수 있는 방식으로 제공됩니다. 마지막으로 우리는 범위를 갖습니다. 시그모이드를 활성제로 적용하면 모든 출력은 0에서 1까지의 범위에 포함됩니다. 따라서 출력은 표준화됩니다. 다른 일반적인 활성화 함수는 TanH입니다. 하이퍼볼릭 탄젠트로도 알려져 있습니다.

ReLu(일명 정류된 선형 유닛) 및 소프트맥스 활성화 함수의 수식 파생도 및 범위를 볼 수 있습니다. 이러한 함수는 모두 활성화 함수입니다. 이것들 결국 비슷한 역할을 합니다. 모든 그래프를 살펴보세요. 지속적으로 동작할 경우, 차별화가 가능합니다. 이것들은 아직 최적화 프로세스에 필요한 중요한 속성입니다.

활성화 함수는 transfer functions, activation function라는 단어로 머신 러닝 환경에서 상호 교환 가능하게 사용됩니다. 그러나 다른 필드에는 이 용어가 차이가 있습니다. 그러므로 혼동을 피하기 위해 활성화 함수(activation function)라는 용어를 사용합니다.