끊임없이 부단히

이번 포스팅에서는 자주 사용되는 확률 분포간 거리 척도(distance metric)들을 간략하게 정리하고자 합니다. 특히 확률 분포가 가우시안일 때 수식들을 정리하고자 합니다. 척도는 Kullback-Leibler divergence, Hellinger 입니다! 엔트로피(Entropy) 정보이론에서 사용되는 엔트로피는 어떤 확률 분포가 가지는 불확실성의 양을 의미합니다. 엔트로피는 아래와 같이 정의됩니다. $$ H(X) = -\sum_x p(x)logp(x) = \mathbb{E}[-logp(X)]$$ Kullback-Leibler divergence KLD도 두 확률분포간 유사도(similarity)를 측정하는데 자주 사용되는 척도 입니다. $$ D_{KL}(P||Q) = \sum_x p(x)log\..

이번 포스팅에서는 자주 사용되는 확률 분포들을 간략하게 정리하고자 합니다. 확률 분포는 푸아송 분포, 베르누이 분포, 이항 분포입니다! 푸아송(Poisson) 분포 푸아송 분포의 확률 질량 함수(Probability mass function)은 아래와 같습니다. $$ f(k;\lambda )=\frac{\lambda^ke^{-\lambda}}{k!} $$ 여기서 변수 λ는 단위 시간 당 사건이 발생할 기댓값을 의미합니다. 즉, 확률 질량 함수는 단위 시간 당 λ번 발생하길 기대하는 사건이 k번 발생할 확률을 의미합니다. 또한, 푸아송 분포에는 평균과 분산이 모두 λ라는 특징이 있습니다. $$ \mathbb{E}(X) = Var(X) = \lambda $$ 베르누이(Bernoulli) 분포 베르누이 분포는..

이번 포스팅에서는 자주 사용되는 행렬 관계식 중 하나(Woodbury matrix identity)를 정리하려고 합니다. Woodbury matrix identity는 아래와 같습니다. $$ (A+UCV)^{-1} = A^{-1} - A^{-1}U(C^{-1} + VA^{-1}U)^{-1}VA^{-1}$$ 양변에 (A+UCV)를 곱하면 쉽게 Identity matrix가 나옴을 알 수 있습니다. 하지만 schur complement 행렬을 이용해서도 도출할 수 있습니다. 아래와 같이 M이라는 큰 행렬을 A, B, C, D라는 작은 부분 행렬로 표현된다면 행렬 M의 블록 D or A의 schur complement 행렬은 아래와 같습니다. $$ \begin{bmatrix} A & B \\ C & D \\ ..