《连续信源和信道》PPT课件

《《连续信源和信道》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、5－1连续信源和波形信源的微分熵5－2具有最大熵的连续信源5－3连续信道和波形信道5－4连续信道和波形信道的信道容量第五讲连续信源和信道5－1连续信源和波形信源的微分熵连续随机变量是取值范围连续，而时间是离散的，所以也叫做时间离散的连续随机变量。这种随机变量的序列表示的信源为连续信源。时间t随机变量的取值范围（符号集）x随机过程是取值范围和时间都是连续的。随机过程表示的信源为波形信源。不同的观测一次观测---样本函数随机变量随机过程在限频带F、限时间T的情况下，可以利用正交函数系（如KL变换）展开为独立的有限个时间离散的随机变量。（王育民书后

2、有附录）2FT个自由度－取样值。抽样间距1/2F.随机波形信源的特点：1、消息数是无限的；2、利用概率密度函数表示。平稳遍历随机过程：统计特性不随时间变化、样本函数遍历各个样本值。确定观测条件：确定的随t变化的样本函数；确定时间：随机变量。连续随机变量的微分熵（差熵）原式的一项的极限定义为连续随机变量的微分熵：一般将上式中的第二项称为绝对熵。以下式表示。微分熵与离散熵的不同：可以为负值；经过变换可能增加。（例如KX。）微分熵与离散熵的相同：虽然不再表示集合事件出现的不确定性度量了，但还是有许多和离散熵一样的性质，特别是可以表示两个集合之间的互

3、信息。对于联合集，定义其微分熵对于随机过程的微分熵，可以近似为随机变量系列。条件熵：随机序列的微分熵和条件熵关系：（Jensen不等式对于连续变量也成立。）例：令X是在区间（a，b）上均匀分布的随机变量，求X的微分熵。解：例：令X是期望为m，方差为的正态随机变量，求X的微分熵。解：熵率：单位时间内信源的微分熵。例如均匀分布连续信源（序列）的熵率：对于限频F，T时间内有2FT个自由度（样点），注：对于随机过程的处理：首先搞清连续随机变量的特点，再作N维序列的。对于限频F限时T的随机过程，可用2FT个自由度表示。（或者最低取样间隔为1/2F秒，故

4、每秒2F个样点，单位时间的熵即为乘以2F）连续集的熵要在一定约束条件下求解极大值，否则仍可能为无穷大。例如对于正态分布的熵为，若不对功率加限制，将为无限大。常见的限制为峰值功率受限和平均功率受限。（1）峰值功率受限：假定随机变量x的取值为[a,b]，5－2具有最大熵的连续信源若连续变量x的幅度为[a,b]，则x的微分熵（限幅情况下，均匀分布时微分熵最大）定理：证明：设一般分布为去q(x),最大分布为p(x)（2）平均功率受限时，限制随机变量x的平均功率或方差，即定理：若连续随机变量的方差一定，则x服从正态分布时的微分熵最大，证明：设一般分布的

5、概率密度为q(x),正态分布的概率密度为p(x)熵功率：设任意分布的连续集X的熵为h(X)，集X的熵功率定义为高斯分布下的功率：：为达到给定的熵值h(X)，正态分布所需要的功率为最小。如果熵功率和信号的平均功率相差越大，信号的剩余度越大。知道集合X的熵功率，可以立刻得到熵值。连续信源的剩余度为：5－3连续信道和波形信道高斯信道：信道噪声为高斯噪声，概率密度服从N维高斯分布。白噪声信道：信道噪声为白噪声。（为双边功率谱密度）高斯白噪声信道：信道噪声为高斯白噪声。（概率密度为高斯分布，功率谱密度为均匀分布）平均功率总功率每个样点的功率限频限时的高

6、斯白噪声，分解为2FT个独立的分量：均值为0，方差为的高斯变量。加性信道和乘性信道：我们主要研究可加噪声信道：y=x+n，n为加性噪声。满足概率密度p(y

7、x)=p(y–x)=p(n)的信道称为加性噪声信道。采用坐标变换的方法：因为X与n是统计独立的：连续随机变量的互信息连续随机变量需要用概率密度来描述。互信息：连续联合集中事件之间的互信息定义为：在每一点x的概率为：平均互信息：连续变量互信息的性质在许多方面和离散情况类似。（1）非负性：（2）对称性：（3）数据处理定理：（4）互信息与条件互信息的关系：多维连续信道的信息传输率：（比特/N自由

8、度）平均每个自由度的信息传输率：波形信道的单位时间内的信息传输率：（比特/秒）5－4连续信道和波形信道的信道容量由于加性信道的干扰和输入是统计独立的，所以设信道干扰分布为独立于输入的均值为0、方差为的正态分布噪声若输入连续集X的概率密度也为均值为0、方差为的高斯分布，输出为两个正态分布的叠加，因而也是正态分布，其均值为0、方差为例：求变量和方差的一般情况：独立的如果对输入功率不加限制，互信息可能任意大。所以我们研究平均功率受限的可加噪声信道。也就是定理：平均功率受限的时间离散、恒参、可加高斯噪声信道的容量为：（还是单个随机变量的）Ps是输入平

9、均功率的上限，是均值为0的高斯噪声的方差。最佳输入分布是均值为0、方差为Ps的高斯分布。证明：独立的：Exn＝ExEn波形信道波形信道为连续时间的连续取值的信道。x