역전파는 가장 직관적인 훈련이지만 수학 용어로 이해하기가 가장 어렵습니다. 먼저 탐구한 다음 수학을 살펴볼 것입니다. 수학은 선택 사항이지만 더 나은 이해를 위해, 수학적으로도 살펴보아야 한다고 합니다.
백프로파게이션의 재미있는 부분이기 떄문에, 이 레슨에 대해 잘 알아야 합니다. 먼저 지금까지 알고있는 것을 정리하고, 레이어가 쌓이는 방식의 로직을 이해하고 있어야 합니다. 또한 학습 과정에서 객관적인 기능을 최적화하기 위해 그라이던트 디센트를 통해 매개 변수 업데이트 하는 것으로 훈련과정이 구성되어 있다는 것을 이야기 하였습니다.
최적화 과정은 최소화로 구성되어 있습니다. 업데이트는 손실의 일부 파생 과정으로 구성되어 있음을 이야기 하였습니다즉 , 당사의 업데이트는 손실의 일부 파생과 직접 관련이 있으며, 오류 또는 델타와 간접적으로 관련되어 있습니다.
히든 레이어에 대한 차후 델타는 정의하기가 더 까다롭지만, 비슷한 의미를 갖습니다. 계산 절차는 이러한 델타를자는 오류 역전파라고 합니다. 포워드 전파의 다른 측면에서 시작하고, 포워드 전파는 신경망을 통해 입력을 푸시하는 프로세스입니다.
각 에포크의 끝에서 얻은 출력은 타겟과 비교하여 오류를 형성합니다. 그런 다음 비분을 통해 전파하고, 각 매개 변수를 변경하여 다음 에포크에서 오류를 최소화합니다.
간단한 예제의 경우, 역전파는 얻은 오류에 따라 가중치를 정렬하는 단일 단계로 구성되어 있습니다. 입력 레이어 및 숨겨진 레이어와 관련된 모든 가중치를 업데이트해야합니다. 예를 들어, 이 가중치를 업데이트해야합니다.
예를 들어 이 유명한 그림에는 270 개의 가중치가 있습니다. 여기서는 270 개의 화살표를 수동으로 계산 한다는 것을 의미합니다. 따라서 270 개의 가중치를 모두 업데이트하는 것은 큰 문제입니다. 이는 그에 따라 가중치를 업데이트해야 함을 의미합니다.
가중치를 업데이트하려면 출력과 타겟을 비교해야 합니다. 이는 각 레이어에 대해 수행되지만 숨겨진 유닛에 대한 목표는 없습니다. 오류를 알지 못하므로 가중치를 업데이트하는 방법은 무엇일까요? 목표가 있는 것처럼 적절한 업데이트를 제공해야합니다. 이제 문제를 해결하는 방법은 오류를 통하는 것입니다. 주요 요점은 각 유닛은 적중의 기여도를 출력 오류로 추적 할 수 있다는 것입니다.
'SW > 딥러닝' 카테고리의 다른 글
| 21. 딥러닝 : 오버피팅(Overfitting) : 개념, 예제, 차이, 의미 (0) | 2020.03.09 |
|---|---|
| 20. 딥러닝 : 역전파(Backpropagation) : 구조, 시각화 표현, 개념 (0) | 2020.03.08 |
| 18. 딥러닝 : 소프트맥스(Softmax) : 개념, 원리, 차이점 (0) | 2020.03.06 |
| 17. 딥러닝 : 활성화함수(Activation Function) : 종류, 원리, 개념, 의미 (0) | 2020.03.05 |
| 16. 딥러닝 : 왜 딥러닝에는 비선형성이 필요한가? : 개념, 원리 (0) | 2020.03.04 |