信息论第2章节离散信源与信息熵

《信息论第2章节离散信源与信息熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1信息、消息与信号的概念通信系统模型信息论的基本任务第1章要求第2章离散信源与信息熵2通信系统模型信息3离散信源的信息熵4H是概率分布的严格上凸函数熵函数的性质：1.对称性2非负性3确定性4扩展性5可加性6上凸性7极值性8信息熵不小于条件熵信源X=(X1X2…XK)离散无记忆信源5离散无记忆K次扩展信源XKX1=X2=…=XK=X离散平稳信源6一维平稳信源二维平稳信源各维联合概率分布均与时间起点无关平稳信源的条件概率与时间起点无关。平均符号熵78……（2）（3）随N的增加是非递增的；（4）若，则存在。离散平稳信源X有以下几点性质：（1）随N的增加是非递增的；极限熵对于一个离散平稳信源，

2、若极限熵代表一般离散平稳有记忆信源平均每发一个符号提供的信息。则有：910有限状态马尔可夫链{Xn}11状态转移概率马尔可夫信源如果在马尔可夫链中，P(Xm+1=Sj

3、Xm=Si)=pij，即从状态i转移到状态j的概率与时刻m无关，齐次马尔可夫链。12齐次马尔可夫链的初始分布为X0，转移矩阵为PX1=X0PX2=X1P=(X0P)P=X0P2X3=X0P3对于具有m+r步转移概率的齐次马尔可夫链，存在切普曼-柯尔莫哥洛夫方程若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限遍历性的直观意义是不论从哪一个状态出发，当转移步数足够大时，转移到状态Sj的概率都近似等于某个常数pj

4、。且满足13则称齐次马尔可夫链具有遍历性，pj称为平稳分布。其中pi为该马尔可夫链的初始分布。若马尔可夫链的状态转移矩阵为P，稳态分布为W=(W1,…,Wr)，则（1）（2）WP=W（3）W是该链的唯一稳态分布。14稳态分布存在定理设P是齐次马尔可夫链转移矩阵，则该链稳态分布存在的充要条件是存在一个正整数N,使矩阵PN中所有元素均大于零。马尔可夫信源①信源输出仅与当时的信源状态有关，而与以前的信源状态无关。②信源状态由当时输出符号与前一时刻信源状态唯一确定15当时间足够长时，齐次遍历的m阶马尔可夫信源16稳态分布信源处于状态Sj时的条件熵信源的相关性和剩余度17等概分布时信源熵最大，H

5、max=H0=logq一个信源符号的熵相关长度越长，信源熵越小，趋于极限熵H相关长度越短，信源熵越大，趋于最大熵H0剩余度