《信息论重点》word版

《《信息论重点》word版》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、1．消息定义信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。信息的广义概念信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。Ø语法信息(语法信息是指信息存在和运动的状态与方式。)Ø语义信息

2、(语义信息是指信宿接收和理解的信息的内容。)Ø语用信息(语用信息是指信息内容对信宿的有用性。)2．狭义信息论、广义信息论。狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪

3、声理论，信号的检测与估值等。3.自信息互信息定义性质及物理意义自信息量：是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。自信息物理意义:1.事件发生前描述该事件发生的不确定性的大小2.事件发生后表示该事件所含有（提供）的信息量互信息量:互信息量的性质：1)互信息的对称性2)互信息可为零3)互信息可为正值或负值4)任何两个事件之间的互信息不可能大于其

4、中任一事件的自信息互信息物理意义:1.表示事件yj出现前后关于事件xi的不确定性减少的量2.事件yj出现以后信宿获得的关于事件xi的信息量4.平均自信息性质平均互信息性质平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：熵函数的数学特性包括:(1)对称性p=(p1p2…pn)各分量次序可调换(2)确定性p中只要有为1的分量，H(p)为0(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。H(p)大于等于0(4)扩展性扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。虽然小概率事件出现后，给予收信者较

5、多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。(5)连续性(6)递增性(7)极值性（最大离散熵定理）(8)上凸性H(p1,p2…，pn)是概率分布(p1,p2…，pn)的严格上凸函数，即詹森不等式：如果f为一个上凸函数，X为一个随机变量，则:平均互信息I(X;Y)=H(X)-H(X

6、Y)=H(Y)-H(Y

7、X)=H(X)+H(Y)-H(XY)性质1.对称性：I(X;Y)=I(Y;X)2.非负性I(X;Y)>03.极值性I(X;Y)£m

8、in{H(X),H(Y)}5.条件熵联合熵随机变量X和Y的条件熵定义为：条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。条件熵：疑义度：噪声熵：联合熵：联合熵表示对于二维随机变量的平均不确定性。各种熵之间的关系•H(XY)=H(X)+H(Y

9、X)=H(Y)+H(X

10、Y)•H(X

11、Y)£H(X)，H(Y

12、X)£H(Y)•H(XY)£H(X)+H(Y)若X与Y统计独立，则H(XY)=H(X)+H(Y)6.信源概率空间通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。离散单符号信源X的概率空间：

13、离散多符号信源可以用随机矢量/随机变量序列来描述，即X=X1X2LXnL其中每个符号取值于同一个单符号信源空间：7.信源熵信源熵：信息熵表示离散单符号信源的平均不确定性信源熵具有以下三种物理含意：–信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。–信息熵H(X)表示信源输出前,信源的平均不确定性。–信息熵H(X)反映了变量X的随机性8.多符号与条件熵的关系1.条件熵随着N的增加是递减的2.N给定时平均符号熵>=条件熵3.平均符号熵随N的增加而减小4.若H（X1）<∞则N次扩展信源的熵：离散平稳无记忆信源的N次

14、扩展信源的熵等于离散单符号信源熵的N倍：离散平稳无记忆信源的熵率：9.连续信源熵单变量连续信源的数学模型定义连续信源的相对熵：。相对熵不能反映连续信源的平均不确定度。定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。两个连续随机变量的联合熵：两个连续随机变量的条件熵：均匀分布连续信