4건의 항목
두 확률 분포 P와 Q의 차이를 측정하는 방법 H(P, Q) = H(P) + D_{KL}(P||Q) = E[\log {Q(x)}] = \sum_{x \in \mathcal X} P(x) \log {Q(x)} Information Entropy와 유사하지만, P의 정보량을 측정하는 것이 아닌, Q의 정보량을 측정한다.
정보이론에서 확률 변수(Random Variable) 의 불확실성을 정량화하는 척도 Shannon Entropy 이산 확률 변수 X의 섀넌 엔트로피 H(X)는 다음과 같이 정의된다.
동일 확률 변수 X에 관한 개별적인 두 확률분포 P와 Q의 차이를 측정하는 방법 Kullback-Leibler Divergence D_{KL}(P||Q) = E(\log \frac{P(x)}{Q(x)}) = \sum P(x) \log \frac{P(x)}{Q(x)} 성질 비대칭성에서 오는 특징 KL Divergence는 두 분포의 차이를 측정하는 방법이라고 했다.
직관 발생 가능성이 낮은 사건이 발생 가능성이 높은 사건보다 더 많은 “정보”를 얻을 수 있다. 즉, 항상 발생하는 사건은 정보가 없다. 반대로 간헐적으로 발생한다면 정보가 많다. 위 생각에 동의한다면, 이를 수치화 할 수 있어야 한다.