𝄢 𝄢

KL Divergence 쿨백-라이블러 발산은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 확률 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피의 차이를 계산한다. KL divergence는 $D_{\textrm{KL}}(P\parallel Q)$ 로 표현되고, 이는 서로 다른 확률 분포 P와 Q의 statiscal distance를 나타낸다. KL divergence 가 0인 것은 서로 다른 분포 P와 Q가 완전히 같은 분포일 때만 성립한다. 머신러닝의 Supervised learning 에 상황을 대입하면 Q가 model의 prediction 값이고 P가 label의 분포일 때 분포의 차이를 측정하기 위해서 KL diverge..