이론/수학3 두 확률(가우시안)간 거리 척도(distance metrix) 이번 포스팅에서는 자주 사용되는 확률 분포간 거리 척도(distance metric)들을 간략하게 정리하고자 합니다.특히 확률 분포가 가우시안일 때 수식들을 정리하고자 합니다.척도는 Kullback-Leibler divergence, Hellinger 입니다! 엔트로피(Entropy)정보이론에서 사용되는 엔트로피는 어떤 확률 분포가 가지는 불확실성의 양을 의미합니다.엔트로피는 아래와 같이 정의됩니다. $$ H(X) = -\sum_x p(x)logp(x) = \mathbb{E}[-logp(X)]$$ Kullback-Leibler divergenceKLD도 두 확률분포간 유사도(similarity)를 측정하는데 자주 사용되는 척도 입니다.$$ D_{KL}(P||Q) = \sum_x p(x)log\le.. 2023. 2. 24. Poisson, Bernoulli, binomial distribution 이번 포스팅에서는 자주 사용되는 확률 분포들을 간략하게 정리하고자 합니다.확률 분포는 푸아송 분포, 베르누이 분포, 이항 분포입니다! 푸아송(Poisson) 분포푸아송 분포의 확률 질량 함수(Probability mass function)은 아래와 같습니다.$$ f(k;\lambda )=\frac{\lambda^ke^{-\lambda}}{k!} $$ 여기서 변수 λ는 단위 시간 당 사건이 발생할 기댓값을 의미합니다.즉, 확률 질량 함수는 단위 시간 당 λ번 발생하길 기대하는 사건이 k번 발생할 확률을 의미합니다. 또한, 푸아송 분포에는 평균과 분산이 모두 λ라는 특징이 있습니다.$$ \mathbb{E}(X) = Var(X) = \lambda $$ 베르누이(Bernoulli) 분포베르누이 분포는 확률 .. 2023. 1. 12. Schur complement 및 Woodbury matrix identity 이번 포스팅에서는 자주 사용되는 행렬 관계식 중 하나(Woodbury matrix identity)를 정리하려고 합니다.Woodbury matrix identity는 아래와 같습니다. $$ (A+UCV)^{-1} = A^{-1} - A^{-1}U(C^{-1} + VA^{-1}U)^{-1}VA^{-1}$$ 양변에 (A+UCV)를 곱하면 쉽게 Identity matrix가 나옴을 알 수 있습니다.하지만 schur complement 행렬을 이용해서도 도출할 수 있습니다.아래와 같이 M이라는 큰 행렬을 A, B, C, D라는 작은 부분 행렬로 표현된다면 행렬 M의 블록 D or A의 schur complement 행렬은 아래와 같습니다.$$ \begin{bmatrix} A & B \\ C & D \\ \end.. 2023. 1. 10. 이전 1 다음