《信源与信息熵》ppt课件

《《信源与信息熵》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源与信息熵信源描述与分类离散信源的信息熵和互信息离散序列信源的熵连续信源的熵与互信息冗余度1普通高等教育“十五”国家级规划教材《信息论与编码》2.1信源的描述与分类信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源信源的基本特性是具有随机不确定性2普通高等教育“十五”国家级规划教材《信息论与编码》2.1信源特性与分类分类时间离散连续幅度离散连续记忆有无三大类：单符号离散信源符号序列信源（有记忆和无记忆）连续信源3普通高

2、等教育“十五”国家级规划教材《信息论与编码》2.1信源描述与分类描述：通过概率空间描述单符号离散信源例如：对二进制数字与数据信源4普通高等教育“十五”国家级规划教材《信息论与编码》2.1信源描述与分类连续信源5普通高等教育“十五”国家级规划教材《信息论与编码》2.1信源描述与分类离散序列信源以3位PCM信源为例6普通高等教育“十五”国家级规划教材《信息论与编码》2.1信源描述与分类当p=1/27普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息信息量自信息量联合自信息量条件自信息

3、量单符号离散信源熵符号熵条件熵联合熵8普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息信息不确定性的消除信息的度量随机性、概率相互独立符合事件概率相乘、信息相加熵事件集的平均不确定性9普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息直观推导信息测度信息I应该是消息概率p的递降函数由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）10普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息定义：对于给定的离散

4、概率空间表示的信源，x=ai事件所对应的（自）信息为以2为底，单位为比特（bit)以e为底，单位为奈特（nat)1nat=1.433bit以10为底，单位为笛特（det)1det=3.322bit11普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息定义：联合概率空间中任一联合事件的联合（自）信息量为：定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：12普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息联合自信息、条件自信息与自信息间的

5、关系13普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息例1设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号（2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。14普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概

6、率分布（1）联合（自）信息量为（2）条件（自）信息量为15普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息例2.一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。解：随机事件的概率空间为16普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息17普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息单符号离散信源熵定义：对于给定离散概率空间表示的信源所定义的随机变

7、量I的数学期望为信源的信息熵，单位为比特/符号18普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息离散信源条件熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列19普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息离散信源联合熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列20普通高等教育“十五”国家级

8、规划教材《信息论与编码》2.2离散信源熵与互信息联合熵、条件熵与熵的关系21普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息单符号离散信源互信息定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特22普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息单符号离散信源互信息23普通高等教育“十五”国家级规划教材《信息论与编码》2.2离散信源熵与互信息