资源描述：
《信息论讲义_第四讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础（第四讲）授课教师：于泽电子信息工程学院201教研室1第二章信息的统计度量内容提要2.1自信息量和条件自信息量2.2互信息量和条件互信息量2.3离散集的平均自信息量2.4离散集的平均互信息量2.5连续随机变量的互信息和相对熵22.4离散集的平均互信息量2.4.1平均条件互信息量2.4.2平均互信息量2.4.3平均互信息量的性质32.4.1平均条件互信息量平均条件互信息量的定义在联合集XY上，由yj提供的关于集X的平均条件互信息等于由yj所提供的互信息量I(xi;yj)在整个X中以后验概率加权的平均值，其定义式为式中
2、，p(xi
3、yj)为后验概率。它又可以表示为42.4.1平均条件互信息量平均条件互信息量的性质联合集XY上的平均条件互信息量有等号成立条件：当且仅当集X中的各个xi都与事件yj相互独立。52.4.1平均条件互信息量（续）证明：6假设一条电线上串联了8个灯泡x1,x2，…x8如图，这8个灯泡损坏的概率相等p(xi)=1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。2.4.2平均互信息量-引入7信源消息x1x2x3x4x5x6x7x8先验概率1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/4
4、1/41/4第2次测量z1/21/2第3次测量w1要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量2.4.2平均互信息量-引入（续）8方法2：逐个检查第1次:x1坏,获得信息量=3bit,可能性较小1/8；x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit获得信息量=3-2.8073=0.1927bit,可能性较大7/8第1次所获得的平均信息量:“对半开”第1次所获得的平均信息量:2.4.2平均互信息量-引入（续）9如果将信道的发送和接收端分别看成是两个“信源”，则两者之间
5、的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。互信息量I(xi;yj)、I(X;yj)是是一个随机变量，不能从整体上作为信道中信息流通的测度。2.4.2平均互信息量102.4.2平均互信息量（续）平均互信息量互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为I(X;Y)=H(X)–H(X
6、Y)根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量.其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量.112.4.2平均互信息量-性质（1）非负性当且仅当X与Y相互独立时，
7、等号成立。证明：122.4.2平均互信息量-性质（续）（2）互易性(对称性)表示从集Y中获得的关于X的信息量等于从集X中获得的关于Y的信息量。当集X和集Y统计独立时，物理意义：当集X和集Y统计独立时，不能从一个集获得关于另一个集的任何信息。13证明：2.4.2平均互信息量-性质（续）14（3）平均互信息和各类熵的关系平均互信息和熵、条件熵的关系为平均互信息和熵、联合熵的关系为2.4.2平均互信息量-性质（续）H(X,Y)H(Y)H(X)H(X
8、Y)H(Y
9、X)I(X;Y)15①观察者站在输出端②观察者站在输入端③观察者站在通信
10、系统总体立场上2.4.2平均互信息量-性质（续）16①观察者站在输出端I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。2.4.2平均互信息量-性质（续）17②观察者站在输入端I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。2.4.2平均互信息量-性质（续）18③观察者站在通信系统总体立场上I(X;Y)—通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特
11、性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。2.4.2平均互信息量-性质（续）19维拉图H(X
12、Y)H(X)H(Y)H(XY)H(Y
13、X)I(X;Y)2.4.2平均互信息量-性质（续）20若信道是无噪一一对应信道,信道传递概率：计算得:2.4.2平均互信息量-性质（续）21若信道输入端X与输出端Y完全统计独立则:2.4.2平均互信息量-性质（续）22例:已知信源空间信道特性如图2.4所示，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X
14、Y)，噪声熵H(Y
15、X)和共熵H
16、(XY)。2.4.2平均互信息量-性质（续）23解（1）根据P(xiyj)=P(xi)P(yj
17、xi)，求各联合概率，得P(x1y1)=P(x1)P(y1
18、x1)=0.5×0.98=0.49P(x1y2)=P(x1)P(y2
19、x1)=0.5×0.02=0.01P(x2y1)=
