|
|
在互信息定义的基础上使用Jensen不等式，我们可以证明 $I(X;Y)$ 是非负的，因此 $H(X)\geq H(X|Y)$。这里我们给出 $I(X;Y) = H(Y) - H(Y|X)$ 的详细推导:\begin{aligned}I(X;Y)&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\\&{}=\sum _{{x,y}}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{{x,y}}p(x,y)\log p(y)\\&{}=\sum _{{x,y}}p(x)p(y|x)\log p(y|x)-\sum _{{x,y}}p(x,y)\log p(y)\\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\\&{}=-\sum _{x}p(x)H(Y|X=x)-\sum _{y}\log p(y)p(y)\\&{}=-H(Y|X)+H(Y)\\&{}=H(Y)-H(Y|X).\\\end{aligned}相关帖子: 对数的不等式
抄自维基–互信息 |
|
