资源描述：
《互信息和信息熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论与编码原理InformationTheoryandEncoding主讲：肖竹老师通信工程本科专业课程互信息信息熵第二讲PartII复习xi的自信息量非负单调减可加不确定性(提供的信息量)收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量)＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)条件自信息量联合自信量I(x)是概率空间(X,P)上的一个随机变量互信息量：结合图示讲解通信模型，信源发出消息xi的概率p(xi)称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率
2、。思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi
3、xi）度量。相当于进行了通信。问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？定义:后验概率与先验概率比值的对数为yi对xi的互信息量：互信息量和条件互信息量互信息量等于自信息量减去条件自信息量。互信息量条件概率先验概率互信息其他表达方式：互信息量概率互换公式通信之前X和Y统计独立，有，不确定性但通信过程中存在信道转移概率，符号xi与yj有了某种关联，此时联合概率，发xi收yi的不确定性。信道转移概率从信源的角度来观察，上述两个事件之差
4、就是观察者获得的信息量—互信息发送符号xi，信宿是否收到yj仍具有不确定性，条件信息信源发送之前，信宿收到yj的概率，自信息信宿收到yj的概率条件互信息量三维XYZ联合集：给定条件下，与之间的互信息量，其定义式互信息的性质对称性—互易性当X和Y相互独立时，互信息为0互信息量可为正值或负值，反映两个事件之间的肯定作用若为正值，通过接收yj判断是否发送xi的不确定性变小，能够正常通信若互信息为负值，意味着传输中的问题，如信道噪声、干扰等，收到yj判断是否发送xi的不确定性更大两个事件的互信息量不大于单个事件的自信息量[例]B,C,D三人必有一人晚上去A家事件E:上午D打电话说晚上
5、不来事件F:下午C打电话说晚上不来求互信息量I(B；E),I(C；E),I(D；E)和I(B；EF)I(B；E),I(C；E)=0.585(bit)I(B；EF)=1.585(bit)BDAC离散信息源的信息熵对一个信源发出不同的消息所含有的信息量也不同。所以自信息I(xi)是一个随机变量，不能用它来作为整个信源的信息测度定义自信息的数学期望为平均自信息量Hr(X)，称为信源的信息熵，也叫信源熵或香农熵，简称熵：熵函数的自变量是X表示信源整体，实质上是离散无记忆信源平均不确定度的度量：各消息自信息量的概率加权平均（统计平均）值由于这个表达式和统计物理学中热熵的表达式相似，且在
6、概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；信息熵的单位由自信息量的单位决定，即取决于对数的底。H(X)的单位：r进制单位／符号（r>1）电视屏上约有500×600=3×105个格点，按每格点有10个不同的灰度等级考虑，则共能组成个不同的画面。按等概率计算，平均每个画面可提供的信息量为＝3×105×3.32bit信源熵例题有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H(X)＝log2N＝4×103×3.32≈1.3×104bit“一
7、个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。信源熵例题假设一条电线上串联了8个灯泡x1,x2…,x8如图1所示.这8个灯泡损坏的可能性是等概率的,现假设这8个灯泡中有一个也只有一个灯泡已损坏,致使串联灯泡都不能点亮.在未检查之间,我们不知道哪个灯泡xi已损坏,是不知的、不确定的.我们只有通过检查,用万用表去测量电路有否断电路,获得足够的信息量,才能获知和确定哪个灯泡xi已损坏.图8个灯泡串联示意图利用熵的概念分析：图中8个灯泡构成一信源X,每个灯泡损坏的概率都相等.这个信源为其中ai(i=1,2…,8)表示第i个灯泡已损坏的事件,信源X共有8种等可能发生事
8、件.可计算得此信源的信息熵这H(X)正好表示在获知哪个灯泡已损坏的情况前,关于哪个灯泡已损坏的平均不确定性.因此,只有获得3比特的信息量,才能完全消除平均不确定性,才能确定是哪个灯泡坏了.熵的计算： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：如果被告知摸出的是红球，那么获得的信息量是：I(a1)＝－logp(a1)＝－log0.8=0.32（比特）如被告知摸出来的是白球，所获得的信息量应为：I(a2)＝－logp(a2)＝－log0
