
原来我对X有些不确定(不确定性为H(X)),告诉我Y后我对X不确定性变为H(X|Y), 这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。
更直观的意义可以理解为,当你完整的学到Y的所有知识的时候,你对X的知识的增长量就是I(X;Y)。(相信我,每当你学到任何关于X的知识,都其实只是Y。没有人可以做到把一个学科彻底的(I(X;Y)=H(X) ?一次就完全通过Y把X学透彻?别那么自信),完全正确的学习)。

原来我对X有些不确定(不确定性为H(X)),告诉我Y后我对X不确定性变为H(X|Y), 这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。
更直观的意义可以理解为,当你完整的学到Y的所有知识的时候,你对X的知识的增长量就是I(X;Y)。(相信我,每当你学到任何关于X的知识,都其实只是Y。没有人可以做到把一个学科彻底的(I(X;Y)=H(X) ?一次就完全通过Y把X学透彻?别那么自信),完全正确的学习)。