《维连续信源与信道》ppt课件

《《维连续信源与信道》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6章单维连续信源与信道单维连续信源的相对熵和平均交互信息量几种单维连续信源的相对熵连续信源相对熵的极值性连续信源相对熵的上凸性连续信源最大相对熵定理数据处理定理连续信道的容量高斯信道的容量1、假设信源与信宿分别用连续随机变量X和Y表示，其联合概率密度分布(PDF)为fXY(x,y)，其边缘分布分别为fX(x)和fY(y)2、相对熵1)、信源模型第1节相对熵与平均交互信息量将区间[a,b]划分成r个相等的小区间，每个小区间的大小为2)、连续信源的离散化第1节相对熵与平均交互信息量则相应的离散信源为：第1节相对熵与平均交互信息量离散化信源的熵第1节相对熵与平均交互信息量连续信源的熵相对熵

2、第1节相对熵与平均交互信息量3、接收信号Y的相对熵第1节相对熵与平均交互信息量将区间[a’,b’]划分成s个相等的小区间，则各小区间的大小为连续随机变量的离散化第1节相对熵与平均交互信息量相应的离散随机变量为第1节相对熵与平均交互信息量离散随机变量的熵第1节相对熵与平均交互信息量连续随机变量Y的熵相对熵第1节相对熵与平均交互信息量4、条件相对熵1)连续信道模型第1节相对熵与平均交互信息量2)转移概率密度函数的离散化第1节相对熵与平均交互信息量二重中值定理第1节相对熵与平均交互信息量3)条件熵第1节相对熵与平均交互信息量条件相对熵第1节相对熵与平均交互信息量4、平均交互信息量第1节相对熵

3、与平均交互信息量所以有第1节相对熵与平均交互信息量同理因为P292T5例：设有随机变量，其概率密度函数为1)求信源的相对熵2)求Y=X+A的熵分析1)2)P292T6例：设有随机变量，其概率密度函数为1)求信源的相对熵2)求Y=2X的熵提示1)2)P292T7例：给定两随机变量X1和X2，其联合概率密度函数为1)求随机变量Y＝X1+X2的概率密度函数提示1)2)求随机变量Y的相对熵1很明显，随机过程Y服从N(0,2)分布，即：2)P292T12例：设某连续信道，其传递特性为：信道输入变量X的概率密度函数为1)求随机变量X的相对熵h(X)2)求信道平均交互信息量I(X;Y)P292T4T

4、6T7作业：1、均匀分布随机变量的熵已知随机变量X的概率密度函数如下，求其相对熵第二节几种连续信源的相对熵2：高斯分布随机变量的相对熵满足第二节几种连续信源的相对熵如果m=0，有P是随机变量X的平均功率第二节几种连续信源的相对熵第二节几种连续信源的相对熵3：指数分布随机变量的相对熵第二节几种连续信源的相对熵1、设单维连续信源X的信源空间为：连续信源的离散化将区间[a,b]划分成r个相等的小区间，每个小区间的大小为第3节相对熵的极值性构造离散信源为：第3节相对熵的极值性现设有另外一个概率密度函数q(x)，在区间[a,b]内连续，且将区间[a,b]划分成r个相等的小区间，每个小区间的大小为

5、第3节相对熵的极值性构造另外一个离散随机变量为由离散熵的极值性(p24)知：第3节相对熵的极值性第3节相对熵的极值性说明相对熵具有极大值第3节相对熵的极值性证明f()的上凸性第4节相对熵的上凸性证明h()的上凸性证明设p(x)为随即变量X1的概率密度函数，q(x)为随机变量X2的概率密度函数，则有令第4节相对熵的上凸性即：r(x)可以看作连续信源X的概率密度函数第4节相对熵的上凸性第4节相对熵的上凸性约束条件：一般来说，连续信源X受到的约束条件有如下几种：1、一般分析：2)欧拉－拉哥朗日方程第5节最大相对熵定理第5节最大相对熵定理第5节最大相对熵定理3)最大相对熵第5节最大相对熵定理说

6、明：虽然写出了在三个约束条件下相对熵取得最大值时的概率密度函数，及相应的最大相对熵表达式。但是我们无法确定参数4)结论设有连续信源X，其样本空间[a,b],p(x)是它的概率密度函数。满足则当时信源相对熵取得最大值第5节最大相对熵定理2、匹配连续信源的性质第5节最大相对熵定理性质1：若在满足下面三个约束条件情况下，p(x)是能够使得相对熵取得最大值的概率密度函数。q(x)与p(x)具有相同取值区间且满足同样约束条件的任意概率密度函数，即则必有：第5节最大相对熵定理证明：性质2：若p(x)为满足某些约束条件的一种具体概率密度函数，q(x)满足同样约束条件的任意概率密度函数。若等式第5节最

7、大相对熵定理恒成立，则p(x)为满足该约束条件下能使相对熵取得最大值时对应的概率密度函数。说明：性质2可以用来验证某概率密度函数是否为具体约束条件下的匹配信源第5节最大相对熵定理3、峰值受限信源的最大相对熵定理对于峰值受限信源，当其分布服从均匀分布时，相对熵取得最大值第5节最大相对熵定理证明下面的等式即可1)分析第5节最大相对熵定理2)证明：第5节最大相对熵定理4、均值受限信源的最大相对熵定理对于均值受限信源，当其分布服从指数分布时，相对熵取得