11.3 马 氏 链

《11.3 马 氏 链》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§11.3马氏链一、马氏过程马尔科夫过程是由前苏联数学家A.A.Markov首先提出和研究的一类随机过程,已成为内容丰富,理论较完善,应用十分广泛的一门数学分支,应用涉及计算机、自动控制、通信、生物学、经济、气象、物理、化学等等领域.电子科技大学系统特征在已知系统现在所处状态下,系统将来的演变规律与过去无关,称为无后效性.例如生物基因遗传从这一代到下一代的转移仅依赖当代而与以往各代无关；某公司的经营状况具有无后效性；评估一个计算机系统的性能时,系统将来的状态取决于目前所处的状态，而无需考虑过去的状

2、态情况；电子科技大学定义11.3.1随机过程{ξ(t),t∈T},如果对于任意取定参数t1

3、技大学二、马尔科夫链马尔科夫链的理论系统而深入，在自然科学、工程技术及经济管理各领域有广泛的应用.定义11.3.2设{ξ(n),n≥0}为随机变量序列,状态空间E={0,1,2,…},若对任意非负整数m,l,k及s1

4、ξ(s1)=is1,…,ξ(sl)=isl,…,ξ(m)=im}=P{ξ(m+k)=im+k

5、ξ(m)=im}电子科技大学成立,称{ξ(n),n≥0}为离散参数马氏链.称条件概率为马氏链在m时刻的k步转移概率.特别称为一步转移概率.表示

6、在时刻m时ξ(m)取i值的条件下，在下一时刻m+1时,ξ(m+1)取j值的概率.电子科技大学记称为马氏链在m时刻的k步转移概率矩阵,称P(m,1)为转移概率矩阵.转移矩阵满足以下条件:电子科技大学123状态空间E={1,2,3},X(m)为第m次观察时老鼠所处位置,记EX.11.3.1迷宫问题定时观察老鼠位于哪一个房间？电子科技大学根据全概率公式，对j=1,2,3有在时刻m,老鼠处于各状态的概率只与第m－1次时所处状态与转移概率有关，而与第m－1次前的状态无关.老鼠的随机转移状态运动过程是一个马氏

7、链.电子科技大学三、齐次马氏链定义11.3.3若马氏链{ξ(n),n≥0}的一步转移概率与起始时刻无关，即对任意m称ξ(n)为齐次马氏链,一步概率转移矩阵为与m无关电子科技大学矩阵中每个元素为非负数,且每行之和均为1.定义11.3.4称矩阵A=(aij)为随机矩阵,若凡满足以上两条的行向量称为概率向量.转移概率矩阵P是随机矩阵.转移概率矩阵P的行向量都是概率向量.电子科技大学EX11.3.2在某数字通信系统中传0和1两种信号,且传递要经过多级.若每级由于噪声的存在,送出0，1信号的失真概率均为p(

8、0

9、钉板内,小球各以的概率向左或向右移动一格.EX11.3.4随机游动(高尔顿钉板试验)电子科技大学P{ξ(k)=i}－11ξ(k)随机游动n步所处的状态状态空间,有{Y(n),n∈N}是马氏过程.电子科技大学更进一步，因对任意m有即马氏链{Y(n),n∈N}的一步转移概率与起始时刻无关，是齐次马氏链.转移矩阵为电子科技大学定义11.3.5给定齐次马氏链{ξ(n),n≥0},记πi(n)=P{ξ(n)=i},i∈E称行向量π(0)={π0(0),π1(0),…,πi(0),…}为马氏链的初始(概率)分

10、布称行向量π(n)={π0(n),π1(n),…,πi(n),…}为马氏链的绝对(概率)分布.定理11.3.1齐次马氏链的绝对分布和有限维分布由初始分布和一步转移矩阵所完全确定.电子科技大学证由全概率公式及齐次马氏性知或绝对分布初始分布电子科技大学由{ξ(n),n≥0}的齐次性,以上各转移概率均可利用C－K方程，由一步转移概率求出.有限维分布为电子科技大学四、切普曼－柯尔莫哥洛夫方程定理11.3.马氏链{ξ(n),n≥0}的k步转移概率满足切普曼－柯尔莫哥洛夫方程分析：电子科技大学