资源描述：
《离散信道及其信道容量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、1第三章离散信道及其信道容量第一节信道的数学模型及分类第二节平均互信息第三节平均互信息的特性第四节信道容量及其一般计算方法第五节离散无记忆扩展信道及其信道容量第七节信源与信道的匹配信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。第六节级联信道2信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真；信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系；知道了信道的输入信号、输出信号
2、以及它们之间的依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。第一节信道的数学模型及分类3规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，}输出符号集：Y={y1，y2，…，}信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(/x1),…p(y1/)…p(/)}1、离散信道的基本数学模型设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：第一节信道的数学模型及分类4第一节信道的数学模型及分类2、信道的分类：根据信道用户
3、的多少：根据输入端和输出端的关联：单用户信道：只有一个输入端和一个输出端。多用户信道：至少有一端有两个以上的用户，双向通信。无反馈信道：输出端信号对输入端信号无影响、无作用。有反馈信道：输出端信号会影响输入端信号变化。根据输入输出随机变量个数的多少：单符号信道：输入和输出端都只用一个随机变量表示。多符号信道：输入和输出端用随机变量序列/随机矢量表示。5根据信道参数与时间的关系：固定参数信道：信道的统计特性不随时间变化而变化。时变参数信道：信道的统计特性随时间变化而变化。根据信道输入和输出的关系：离散信道：输入、输出随机变量都取离散值
4、。连续信道：输入、输出随机变量都取连续值。半离散半连续信道：输入变量取离散值而输出变量取连续值，或反之。波形信道第一节信道的数学模型及分类6第一节信道的数学模型及分类根据信道上有无干扰关系：根据信道上有无记忆关系：无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。以下我们只研究
5、无反馈、固定参数的单用户离散信道。7（1）无干扰信道：输入信号与输出信号有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；根据这一模型，可对信道分类如下：（3）有干扰有记忆信道：这是最一般的信道。第一节信道的数学模型及分类8第一节信道的数学模型及分类3、单符号离散信道的数学模型设输入X∈{x1,x2,…,xi,…,xn}输出Y∈{y1,y2,…,yj,…,ym}信道转移概率/信道传递概率：条件概率p(yj/xi)。其信道模型如图所示。9[P]=y1y2…ymx1p(y1/x1)p(y2/x1)…p
6、(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)条件概率p(yj/xi)表示成矩阵形式：第一节信道的数学模型及分类10单符号离散信道的输入变量为X，取值于输出变量为Y，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。第一节信道的数学模型及分类11[例1]二元对称信道（BSC）X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;第一节信道的数学模型及分类12[例2]二元删除信道(BEC)X={
7、0,1}；Y={0,2,1}。0p01-q1-p1q12第一节信道的数学模型及分类13由此可见，一般单符号离散信道的传递概率可以用矩阵表示:第一节信道的数学模型及分类14（1）联合概率:（2）输出符号的概率:（3）后验概率:其中称为前向概率，描述信道的噪声特性称为后向概率；有时也把称为先验概率，把称为后验概率。表明输出端收到任一符号，必定是输入端某一符号输入所致。第一节信道的数学模型及分类15第二节平均互信息互信息:yj对xi的互信息量定义为后验概率与先验概率比值的对数。信源发出某符号xi，由于受噪声的随机干扰，在信道的输出端输出x
8、i某种变型yj，这个过程中信道所传送的信息量，即信宿收到yj后，从yj中获取关于xi的信息量I(xi;yj)。16互信息的性质对称性：I(xi;yj)=I(yj;xi)两个随机事件的可能结果，xi和yj之间的统计约束程度；从yj得到的
