Kullback-Leibler (KL) divergence

The equation of the KL divergence is expressed as follows:

$KL(p||q) = H(p,q) - H(p)$

$H(p,q) = H(p) + \sum{p_i log{\frac{p_i}{q_i}}}$

$KL(p||q) = H(p) + \sum{p_i log{\frac{p_i}{q_i}}} - H(p) = \sum{p_i log{\frac{p_i}{q_i}}} = \mathbb{E}_{p_i}{log\frac{p_i}{q_i}} $

where $H(p,q)$ denotes cross entropy and $H(p)$ denotes entropy.

마지막 KL(.)을 보면 엔트로피가 전부 상쇄되어 사라지고, summation항만 남게되는데, 이 summation항이 "분포 p와 분포 q의 정보량 차이" 이다. 결과적으로는, KL(.)는 두 확률적 분포의 차이를 나타낸다.

 

Reference:

현 포스팅은 https://hyunw.kim/blog/2017/10/27/KL_divergence.html 에 있는 내용이며, 자세한 사항 또한 잘 서술되어져 있습니다.