지금까지 서로 다른 두 가지 최적화 알고리즘 업데이트 규칙에 새로운 아이디어를 가져 왔음을 알았습니다. 이러한 개념을 결합하고 더 나은 결과를 얻을 수 있다면 더 좋을 것입니다.
가장 유용하다고 생각하는 최적화 알고리즘의 상태에 도달 할 수 있는 rate와 모멘텀은 Adaptive 모멘트 추정이라고하며, 실제로 적용되는 최첨단 최적화 프로그램이며 2014 년 12 월 22 일에 제안된 새로운 기능입니다. 2014년 또는 2015 년에 대학에서 머신 러닝을 공부 한 사람이 있다면 이 방법을 보지 못했을 것입니다. 이는 또한 공부를 마친 후에도 ML 공부가 끝이 없다는 이야기를 뒷받침합니다.
아담 (Adam)은 이번 포스팅의 주제이며 Adaptive Moment Estimation의 줄임말입니다. ADA grad과 RMS Prop를 발견 한 경우. Prop은 가중치를 포함하지 않았습니다. RMS Prop에 대한 아담은 방정식에 가중치를 도입합니다.
따라서 RMS Porp에서 파생된 업데이트 규칙은 델타 W에서 왜 마이너스 루트 gi(t) + E로 나눈 값을 더한 엡실론 곱하기와 델타 w에 대한 엡실론 곱하기 E T 플러스 엡실론에서 마이너스 eata를 g로 나눈 값 약 TM에서 AM은 앞에서 논의한 가중치이지만 조금 변형됩니다. EPOCH T에서 M은 Epic에서 알파 시간 M과 같고 T에서 1 마이너스 알파 곱하기
그라디언트는 항상 최첨단 머신 러닝 학습 방법으로 ADAM을 사용합니다. 이전 몇 개의 강의에서 본 것을 감사하게 생각합니다.
기본 그라디언트 강하 절차에서 시작하여 처음으로 확장했습니다. 계산 효율성을 위한 SGD, Ada에 적응할 수있는 Adaptive Learning Rate Scheduler를 도입했으며, RMS prop에 스케줄러의 이동 평균을 도입하여 이를 더욱 확대했습니다. Adam은 모든 데이터 과학과 마찬가지로 서로 긴 학술 연구에 결과물입니다.
'SW > 딥러닝' 카테고리의 다른 글
| 38. 딥러닝 : Basic Preprocessing (기본 전처리) : 개념, 사용, 예시 (0) | 2020.08.28 |
|---|---|
| 37. 딥러닝 : Preprocessing (전처리) : 개념, 목적 (0) | 2020.08.27 |
| 35. 딥러닝 : Adaptive Learning Rate Schedules : 개념, 방법, 개요 (0) | 2020.08.22 |
| 34. 딥러닝 : 학습률 (learning rate) : 좋은 학습 속도인지 분별하는 방법 (0) | 2020.03.28 |
| 33. 딥러닝 : 학습률 (learning rate) : 방법, 원리, 설정 팁, 개념 (0) | 2020.03.27 |