连续信源和连续信道

连续信源和连续信道

ID:38317861

大小:755.31 KB

页数:36页

时间:2019-06-09

连续信源和连续信道_第1页
连续信源和连续信道_第2页
连续信源和连续信道_第3页
连续信源和连续信道_第4页
连续信源和连续信道_第5页
资源描述:

《连续信源和连续信道》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、2.3连续信源连续信源:输出消息在时间和取值上都连续的信源。如语音,电视信源。对应的数学工具为随机过程。从统计特性上讲,连续随机过程大致可分为平稳(统计特性-各维概率密度函数不随时间平移而变化的随机过程)和非平稳随机过程两大类。一般认为,通信系统中的信号都是平稳的随机过程,或分段平稳的随机过程。最常见的平稳随机过程为遍历过程。2.3.1连续信源熵连续信源基本的数学模型为其中R是全实数集,是连续变量X的取值范围,p(x)为X的概率密度。假设x∈[a,b],令Δ=(b-a)/n,xi∈[a+(i-1

2、)Δ,a+iΔ],p(x)为连续变量X的概率密度函数,则利用中值定理X落在第i个小区间的概率是根据离散信源熵的定义,则当n→∞时,即Δ→0时,得:定义连续信源熵:连续信源的熵具有相对性,有时称为相对熵,在取两熵之间的差时才具有信息的所有特性.上式定义的连续信源的熵并不是实际信源输出的绝对熵,连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个,若其取值是等概率分布的,那么,信源不确定性为无限大。当确知输出为某值后,所获得的信息量也将为无限大。可见,Hc(X)已不能代表

3、信源的平均不确定性大小,也不能代表连续信源输出的信息量。例2.3.1有一信源概率密度如图所示,求连续熵解:由图(a)得由图(b)得同理,可定义两个连续变量X,Y的联合熵和条件熵:2.3.2几种特殊连续信源的熵1.均匀分布的连续信源的熵,其大小仅与区域的边界有关。一维均匀分布:相对熵无非负性,可为负值若:N维均匀分布:N维矢量(X1X2…XN)中各分量彼此统计独立,且分别在[a1,b1][a2,b2]…[aN,bN]的区域内均匀分布,即连续随机矢量中各分量相互统计独立时,其矢量熵就等于各单个随机变量

4、的熵之和,与离散信源情况类似。2.高斯分布的连续信源的熵:与数学期望无关,仅与方差有关设一维随机变量X的取值范围是整个实数轴R,概率密度函数呈正态分布与方差有关,与均值无关当均值m=0,X的方差就是随机变量的平均功率相对熵只与平均功率有关3.指数分布的连续信源的熵:只取决于均值若一维随机变量X的取值空间是[0,∞],其概率密度函数为其中:指数分布的相对熵只取决于信源的均值m2.3.3连续信源熵的性质及最大连续熵定理1.连续熵可为负值2.可加性推广到N个变量:3.平均互信息的非负性连续信道的平均互信

5、息量和离散信道下平均互信息量的关系式完全类似,且保留了离散信道平均互信息量的所有含义和性质。可见,将差熵定义为连续信源的熵是有重要实际意义的。4.最大连续熵定理在不同的限制条件下,信源的最大熵也不同。(1)限峰值功率的最大熵定理若信源的N维随机变量的取值在一定的范围之内,则在有限的定义域内,均匀分布的连续信源具有最大熵。N维矢量(X1X2…XN)中各分量彼此统计独立,且分别在[a1,b1][a2,b2]…[aN,bN]的区域内均匀分布,即这就是说,任何概率分布密度时的熵必小于均匀分布时的熵,即当均

6、匀分布时差值达到最大值当ai=-bi时,(2)限平均功率的最大熵定理若信源输出信号的平均功率P和均值m被限定,则其输出信号幅度的概率密度函数为高斯(正态)分布时,信源具有最大熵值。单变量连续信源X呈正态分布的概率密度函数为且:当连续信源输出信号的均值为零、平均功率受限时,只有信源输出信号的幅度呈高斯分布时,才会有最大熵值。当信源的概率密度符合正态分布时,其相对熵仅与随机变量的方差有关,而方差在物理含义上往往表示信号的交流功率,即如果噪声是正态分布,则噪声熵最大,因此高斯白噪声获得最大噪声熵。在限制

7、信号平均功率的条件下,正态分布的信源可输出最大相对熵其值随平均功率的增加而增加。(3)均值受限条件下的最大连续熵定理若连续信源X输出非负信号的均值受限,则其输出信号幅度呈指数分布时,信源具有最大熵值。将连续信源X为指数分布时的概率密度函数记为取值为非负数,均值受限的连续信源,当它呈指数分布时达到最大熵值,且其最大熵值仅决定于被限定的均值总结:连续信源与离散信源不同,它不存在绝对的最大熵。其最大熵与信源的限制条件有关。连续信源在不同限制条件下最大熵是不同的,在无限制条件时,最大熵不存在。3.5连续信

8、道连续信道:输入和输出都是单个连续型随机变量的信道。可用模型{X,p(y

9、x),Y}来描述单符号连续信道。X是输入连续型随机变量,X取值区间为[a,b]或实数域R;Y是信道输出连续型随机变量,取值区间为[a′,b′]或实数域R;信道的传递概率密度函数为p(y

10、x),并满足:p(y/x)X∈[a,b]Y∈[a′,b′]连续信道的数学模型定义连续信道的信道容量C为信源X等于某一概率密度函数p0(x)时,信道平均互信息量的最大值。加性连续信道的容量加性连续信道:噪声为连续随机变量N,且与

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。