KL Divergence : Gaussians : 공식 증명

이번 과제에서는 두 distribution p(x)와 q(x)의 KL divergence는

로 정의됩니다.

두 distribution p(x)와 q(x)을

라고 가정할 때,

가 되는 것을 증명해야 합니다.

---

우선 공식은 위와 같습니다.

 

뒷 수식 부터 우선 적분을 진행합니다.

 

따라서, 다음과 같이 쓸 수 있습니다.

 

 

그리고 위와 같이 분리할 수 있습니다.

 

다음과 같이 정리할 수 있습니다. 

 

그 다음, 수식을 위와 같이 나누어 줍니다.

 

⟨⟩를 p 아래의 기대 연산자로 표시하면 다음과 같이 다시 작성할 수 있습니다.

 

var(x) = <x2> - <x> 이므로 위 식으로 정리할 수 있습니다.

 

따라서

식에 넣어 

위와 같이 표현할 수 있습니다.

 

정리한 내용을 종합하면 값을 넣어주면 아래와 같은 식을 얻을 수 있습니다.

 

 

KL Divergence와 가우시안을 활용한 공식이 어떻게 증명되는 지 알아 보았습니다. 좀 더 구체적이고 자세한 내용은 아래 사이트를 참고하시면 좋을 것 같습니다. 

https://stats.stackexchange.com/questions/7440/kl-divergence-between-two-univariate-gaussians

KL divergence between two univariate Gaussians