信息科学基础

《信息科学基础》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、信息科学基础作业二一、设离散无记忆信源E)丿(03<83)1，其发出的消息为8)(2021201302130012032101103210100),求⑴此消息的自信息量是多少?(2)此消息中平均每符号携带的信息量是多少?解：(1)此消息总共有11个0、9个1、7个2、4个3,因此此消息发出的概率是:“3、1110XX——<4><8；P=此消息的信息量是：/=—log”=59.565bit⑵此消息中平均每符号携带的信息量是：//h=59.565/31=1.921bit二、设随机变量X的如下概率分布：⑵q=。44442488分别计算^H(X)

2、；解：(2)H(X)=_(丄log丄+丄log丄+-log-+-log-)=-bit224488884三、设(X,K)具有如下联合分布:0101144131188由此计算它们的嫡H(X),H(Y),H(X,K),条件嫡H(YX)9互信息/（X,Y）o验证它们之间的关系式。解:丄IL13f31.1H(X,Y)=-(―log—+—log—+-log-+-log-)=1.91加44448888H(X)=-(-log-+-log-)=0.95肋8888丄11,1、H(Y)=-(-log-+-log-)=2222Z1.11f13,31,1、H(X

3、Y)=-(—log—+—log—+-log—+-log—)=0.91bit4242848412331211H(Y

4、X)=—(—log—+—log—+—log—+—log—)=0.95方”45854383丄41.43.61.2、I(X;Y)=(-log-+-log-+-log-+-log-)=0.04b"45438583信息科学基础作业三一、已知随机变量x的两个概率分布昱）和§44488oo8o2计算(1)•相对®D(p\q),D(q\p)(2)•散度J(p,q;X)解:D(]}\q)=(Iiog2+^log2+llog2+

5、log

6、l+

7、logl)=

8、=0.5D(q\p)=(llogl+llogl+llogl+llogl+llog4)=

9、=0.625丿(p,q;X)=l・125、设（x,r）具有如下联合分布:012301111816323211111116832322111116161616310004rh此计算它们的嫡h(x),h(y),h(x,r),条件嫡H(x

10、y),h(kpo，互信息/(X,r)o解：丄1c1I1,1】1.1,1、27H(X.Y)=-(—log—+2x—log—+6x——log4x——log——)=——bit44881616323281,1

11、1I1c1I17•H(X)——(_log—F_log—2x_log_)=_bit2&24e488411133H(Y)=2biH(XY)=—bitH(YX)=—bit/(X；y)=-bit信息科学基础作业四一、已知随机变量X有如下的分布密度函数，计算其可微^A(X)1—0

12、)=<2-x10)，计算可微爛/?(X)解：h(X)=_j/(x)log/=—JA^'Zvlog(Ae_Zv)Jx=1-logAbit三、已知随机变量X服从止态分布N(0,1),其分布密度函数^(x)=13,计算可微炳〃(x)a/2兀0011H1解：/z(X)=-jf(x)ogf(x)dx=-^~J^=e$og~^=e2二㊁］og(2亦)/；打信息科学基础作

13、业五一、已知连续型随机变量(x,y)有如下的联合分布密度函数，计算h(x,V),h(X),A(y),h(XY),h(YX),/(X;F).1・/(^y)=0

14、Ixl+IWSl0其它解:h(X,Y)=-J“(兀，刃log/(x,y)dxdy=-J

15、

16、log舟

17、dxdyR2DZ'rx-l弓(f/O+仏仁為=1bith(X)=—f](1+x)log(l+x)dx—J)(1—x)log(l—x)dx=———bith(Y)=———bit"22h(Xy)=