资源描述：
《联合熵与条件熵.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、联合熵与条件熵第6讲联合熵与条件熵信息熵H(X)反映了随机变量X的取值不确定性。当X是常量时，其信息熵最小，等于0；当X有n个取值时，当且仅当这些取值的机会均等时，信息熵H(X)最大，等于logn比特。我们拓展信息熵H(X)的概念，考虑两个随机变量X和Y的联合熵H(XY)和条件熵H(Y
2、X)。1.联合熵设X，Y是两个随机变量，则(X,Y)是二维随机变量，简写为XY。二维随机变量XY的联合概率分布记为p(xy)，即(){}Pr,pxyXxYy===根据信息熵的定义可知，XY此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。的信息熵为,,1()()()()l
3、og()xyxyHXYpxyIxypxypxy==∑∑定义二维随机变量XY的信息熵H(XY)称为X与Y的联合熵（jointentropy）。它反映了二维随机变量XY的取值不确定性。我们把它理解为X和Y取值的总的不确定性。练习：假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。试计算H(XY)此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。我们将联合熵概念推广到任意多离散型随机变量上。定义一组随机变量12,,,NXXXL的联合熵定义为121212,,,12()()()NNNNxxxHXXpx
4、xxIxXxx=∑LLLL注：为了简化记号，我们有时把12NXXXL记为XN，把12NxxxL记为xN。物理意义：（1）12()NXHXXL此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。是这一组随机变量平均每一批取值1212,{,}NNxXxXXx===L所传递的信息量。（2）若N-维随机变量12NXXXL表示某信源产生的任意一条长度为N的消息，则12()NXHXXL是平均每条长度为N的消息的信息量。因此，若该信源产生一个长度为N的消息，则在不知道其它条件的情况下，对该消息所含信息量的最优估计为N-维信息熵12()NXHXXL。联合熵的性质：联合熵熵
5、函数的一种特殊形式，所以熵函数的任何数学性质都适用于联合熵，包括：非负性、可加性、严格上凸性和最大离散熵原理，等等。当然，联合熵还有自己的特殊性质。定理（联合熵的独立界）2121()()()()NNHXXHXHXHXX≤+++L此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。L其中等号成立的充要条件是所有随机变量相互独立。证明：这里仅证明()()()HYXXHHY≤+，一般情形可类似证明。设对于XY的联合分布为p(xy)，X和Y的概率分布简记为p(x)，p(y)。由于()()()(),,,yxpxpxypypxy==∑∑我们有()(),-=log()(
6、)xypxxxpyypyp∑左右注意，()()pxpy此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。构成一个概率分布。应用信息不等式可得()(),()0()logxypxpypxpxyy≤∑其中等号成立的充要条件是()()()pxypxpy=，即X与Y相互独立。证毕2.条件熵条件自信息：1(
7、)log(
8、)Iyxpyx=对于任何取值x，
9、YXx此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。=是一个带条件的随机变量，其信息熵为(
10、)(
11、)log(
12、)yHYXxpyxpyx==-∑再对所有x求熵的平均值可得如下条件熵：
13、定义设X,Y是两个离散型随机变量，联合分布为p(xy)。X相对于Y的条件熵H(X
14、Y)定义为条件自信息I(X
15、Y)的期望，即,(
16、)()(
17、)xyHXYpxyIxy=∑物理意义：H(X
18、Y)表示在已知Y取值的前提下，X取值的不确定性，亦即X的每个取值平均所提供的与Y无关的信息量。定理（条件熵非负性）对于任何离散型随机变量X与Y，都有H(Y
19、X)≥0，其中等号成立当且仅当Y是X的函数，即X的取值可确定Y的取值。证明此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。根据定义,(
20、)()log(
21、)0xyHYXpxypyx=-≥∑由于上述加式中各加项都≤0，所
22、以该加式=0的充要条件是各加项=0，即对于任何x和y，p(y
23、x)=1或者p(y
24、x)=0，亦即对于任何x，P(Y
25、x)是退化分布。这表明当X的取值确定时，Y的取值随即确定，即Y是X的函数。证毕定理（熵的链法则）对于随机变量序列X1,X2,…和任何N≥1112111()()(
26、)(
27、)NNNHXXHXHXXHXXX-=+++LLL简记为12?()NNHXHHH=++?+其中H1=H(X1)，H2=H(X2
28、X此资料由网络收集而来，如有侵权请告知
