20. 딥러닝 : 역전파(Backpropagation) : 구조, 시각화 표현, 개념

백프로파게이션 과정

 

여기에 표시된 역전파의 구조를 살펴 봅시다. 네트워크는 매우 간단합니다. 단일 히든 레이어가 있습니다. 각 노드에는 레이블이 지정되어 있습니다. 그래서 입력 레이어, 히든레이어, 출력 레이어를 갖습니다.

그리고 마지막으로 타겟 T1과 T2가 있습니다.

가중치는 신경망의 첫번째 유닛에 대한 w11, w12, w13, w21, w22, W23가 있습니다.

u11, u12, u21, u22, u31, u32가 있습니다. 따라서 우리는 두가지 유형의 가중치를 구분할 수 있습니다. 이것이 매우 중요합니다. 알려진 타겟에 따라 , y1, y2와 관련된 오류를 알 수 있습니다. 따라서 e1, e2의 오류를 구할 수 있습니다. 이를 기반으로 레이블이 지정된 가중치를 조정할 수 있습니다. 각 u는 단일 오류에 기여합니다.

 

 

 

백프로파게이션 과정2

 

예를 들어, w11은  H1 예측에 도움을 주었지만 y에서 y1을 계산하기 위해 h1이 필요했기 때문에 두 오류를 모두 결정하는 역할을 했습니다. 따라서 하나의 오류가 하나의 오류에 기여하고 하나의 오류가 두 오류에 기여하므로 조정 규칙이 달라야 합니다.

이 문제에 대한 해결책은 오류를 가져 와서 가중치를 사용하여 신경망을 통해 다시 전파하는 것입니다. 가중치는 유닛 예측이 각 오류에 미치는 영향을 측정할 수 있습니다. 그런 다음, 유닛 예측이 해당 오류에 기여한 것을 반견하면 W 가중치를 업데이트 할 수 있습니다. 따라서 역전파를 통해, 알고리즘은 어떤 가중치를 식별합니다.

기여도가 적는 가중치보다 오차에 더 크게 기여하는 가중치를 조정합니다. 활성화 함수를 고려해야 할 때, 큰 문제가 발생합니다. 이 과정에 추가적인 복잡성을 도입합니다. 쉽고 비선형적인 것에 더 강해집니다. 간단한 신경망에 등장하는 내용들을 이해하기 매우 간단합니다. 수학적으로 말하기는 어렵지만 말입니다.

왜냐하면 역전파가 알고리즘 속도에 대한 가장 큰 요인 중 하나입니다. 딥 뉴럴 네트워크에 대한 이해를 끊임없이 알아보고 지켜보는 것이 좋습니다. 다음 번에는 오버 피팅에 대해 검토해보도록 하겠습니다.