끊임없이 부단히

이번 포스팅에서는 자주 사용되는 확률 분포간 거리 척도(distance metric)들을 간략하게 정리하고자 합니다. 특히 확률 분포가 가우시안일 때 수식들을 정리하고자 합니다. 척도는 Kullback-Leibler divergence, Hellinger 입니다! 엔트로피(Entropy) 정보이론에서 사용되는 엔트로피는 어떤 확률 분포가 가지는 불확실성의 양을 의미합니다. 엔트로피는 아래와 같이 정의됩니다. $$ H(X) = -\sum_x p(x)logp(x) = \mathbb{E}[-logp(X)]$$ Kullback-Leibler divergence KLD도 두 확률분포간 유사도(similarity)를 측정하는데 자주 사용되는 척도 입니다. $$ D_{KL}(P||Q) = \sum_x p(x)log\..