28. 딥러닝 : 초기화(Initialization) : 개념, 방법, 필요성, 의문점

 

머신 러닝의 중요한 부분인 초기화에 대한 첫 번째 포스팅입니다. 세계에서 가장 빠른 컴퓨터조차도 세부 사항을 말하면서 도움을 줄 수는 없습니다.

초기화는 가중치의 초기 값을 설정하는 프로세스입니다. 부적절한 초기화로 인해 최적화 프로그램 모델이 발생하지 않을 수 있으므로 이 개념을 알아두는 것이 중요합니다.

가장 간단한 그라디언트 디센트를 소개 할 때 5x^2 + 3X - 4 함수를 사용합니다. 그라디언트 디센트를 수행합니다. 다시 말해 초기 가중치를 우연히 발견한 다음 경우에 간단한 값 4로 가중치를 초기화했습니다. 그런 다음 마이너스 0 범위에서 무작위로 가중치를 초기화했습니다.

스스로에게 질문하지 않았다면 지금이 시간입니다. 초기 가중치가 무엇인지 아는 것이 중요합니다. 임의의 초기 가중치가 필요하지만 그 이유를 정확히 알아보지는 않았습니다.

 

 

초기화 이유

 

역전파 학습에 사용하는 것과 동일한 체계를 볼 수 있습니다. 이것은 단일 숨겨진 레이어가 있는 모델입니다. 3개의 숨겨진 단위는 입력과 관련하여 완전히 대칭적임을 알 수 있듯이 어떤 상수도 중요하지 않습니다. 알고리즘이 H1, H2, H3가 다르다는 것을 알 이유가 없습니다. 전파 알고리즘이 출력이 다르다고 생각할 이유가 없습니다. 이 대칭에 기반하여 모든 가중치가 다시 전파됩니다. 구별하지 않고 업데이트 해야합니다.

일부 최적화는 여전히 수행되어 초기 값이 되지 않을 것입니다. 가중치는 여전히 쓸모가 없습니다. 어떻게 가중치를 초기화해야 할까요? 다음 포스팅에서 좀 더 자세히 다루도록 하겠습니다.