28. 딥러닝 : 단순 초기화의 타입 : 초기화 유형, 방법, 개념, 유념

초기화 문제를 안다는 것을 알고 어떻게 처리 할 수 ​​있는지 살펴보겠습니다. 간단한 접근 방식은 작은 범위 내에서 무작위로 가중치를 초기화하는 것입니다.

최소한의 예에서는 무작위로 균일하게 사용하고 범위는 0과 1 사이였습니다. 1과 0.1에서 무작위로 값을 선택합니다. 그러나 균일한 방식으로 각 방법은 동일한 확률로 선택될 확률이 동일합니다.

두 번째 방법은 정규 이니셜 라이저를 선택하는 것입니다. 기본적으로 아이디어는 동일합니다. 이번에는 평균 0, 정규 분포에서 숫자를 선택합니다. 그러나 분산은 임의적이지만 작아야 합니다. 정규 분포를 따르기 떄문에 예측할 수 있습니다. 0에 더 가까운 값은 다른 값보다 훨씬 더 많이 선택될 수 있습니다. 

초기화의 예는 평균이 0인 정규분포를 사용하는 것입니다. 아니면 0과 1사이에 무작위 값을 사용합니다. 두 방법 모두 최근에 아쉬움이 있었고, 학계는 새로운 해결책을 생각해 냈습니다.

 

 

 

 

가중치는 선형 조합에 사용된 다음, 다시 선형 조합에서 한번 활성화됩니다. 활성화 함수는 이전 레이어에서 유닛의 선형 조합을 입력으로 사용합니다. 모든 입력이 이 범위에 있으면, 작은 가중치를 사용할 경우 발생하는 시그모이드는 비선형성을 적용하지 않습니다. 그러나 비선형성을 논의할 때, 선형 조합에 대한 선형성은 딥 뉴럴 네트워크에서 필수적입니다.

또는 너무 작은 s 자형은 거의 평평합니다. 원인은 s 자형의 출력이 각각 거의 0만 되는 정적 출력이기 때문입니다. 알고리즘은 실제로 훈련이 되지 않습니다. 원하는 것은 이 S 자형에 대한 광범위한 인풋입니다. 이 인풋은 가중치에 따라 달라지므로 가중치는 합리적인 범위에서 초기화되어야 합니다. 다음 포스팅에서는, 과연 어떻게 초기화해야할 지에 대해서 알아보도록 하겠습니다.