entropy1 두 확률(가우시안)간 거리 척도(distance metrix) 이번 포스팅에서는 자주 사용되는 확률 분포간 거리 척도(distance metric)들을 간략하게 정리하고자 합니다.특히 확률 분포가 가우시안일 때 수식들을 정리하고자 합니다.척도는 Kullback-Leibler divergence, Hellinger 입니다! 엔트로피(Entropy)정보이론에서 사용되는 엔트로피는 어떤 확률 분포가 가지는 불확실성의 양을 의미합니다.엔트로피는 아래와 같이 정의됩니다. $$ H(X) = -\sum_x p(x)logp(x) = \mathbb{E}[-logp(X)]$$ Kullback-Leibler divergenceKLD도 두 확률분포간 유사도(similarity)를 측정하는데 자주 사용되는 척도 입니다.$$ D_{KL}(P||Q) = \sum_x p(x)log\le.. 2023. 2. 24. 이전 1 다음