概率论与随机过程

《概率论与随机过程》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第九章Markov链♦内容Markov链及一步转移概率的概念；n步转移概率与一步转移概率的关系；Markov链的状态分类；状态空间的分解；平稳分布。♦重点Markov链的定义、转移概率及状态分类♦难点状态分类12008-12-15北京邮电大学电子工程学院前面讨论的随机过程是按照其数字特征来进行分类的，而后面我们将对Markov过程按其状态空间E和参数集T进行分类。1、E和T均离散，即为本章将要讨论的Markov链；2、E离散、但T连续，即为纯不连续的Markov过程（间断型Markov过程）；3、E和T均连续，即为连续型Markov过程。不妨假设E

2、xx=={01,,""},以后令EiT{}，={0,1,2,}22008-12-15北京邮电大学电子工程学院第一节Markov链的基本概念及转移概率一、Markov链的定义定义9.1.1　若随机过程{ξn,,nT∈∀∈}，对正整数nTii和01,"iE∈，有：n+1Piii{}ξξξn++11===n00,9"nn===Pii{}ξξn++11nnn().1.1则称{}ξn为Markov链，()9.1.1式所表达的性质称为Markov性（无后效性）。　解释：若把时刻看成“现在”，把时刻，nn01，"−1看成“过去”，把时刻n+1看成“将来”，那么M

3、arkov性（无后效性）说：在已知系统“现在”所处状态的情况下，系统将来的状态与“过去”所经历的状态无关。32008-12-15北京邮电大学电子工程学院定理9.1.1　随机过程{ξn,nT∈}为Markov链的充要条件是对∀<正整数mk,及任意的非负整数nn<"

4、+1时刻系统转移到状态的概率。即随机游动的质点在时刻处于状态的条件下，经过一步转移随机游动ni到状态的概率，记为jp()n。ij定义9.1.2　称条件概率p(n)==P{}ξξj=i为Markov链ijn+1n{}ξn,,nT∈∈的一步转移概率，其中ijE。一般地，pnij()不仅与ij,有关，而且也与有关，若npn()不依赖于，则nMarkovij链具有平稳的转移概率，即转移概率具有平稳性。52008-12-15北京邮电大学电子工程学院定义9.1.3　若Markov链具有平稳的转移概率，即p(n)与ijnp无关，则称马氏链是齐次的，记()n为p.

5、ijij本章只讨论齐次的Markov链。定义9.1.4　由pijE(,∈)构成的矩阵ij⎡⎤pp"11"1n⎢⎥Ppp==()ij⎢⎥21""p2n⎢⎥⎣⎦""""称为系统的转移概率矩阵（随机矩阵），它具有如下性质：（）10pi≥∈(,jE)ij（）21∑piij=∈()EjE∈()从状态出发转移到系统各个状态的概率之和为i162008-12-15北京邮电大学电子工程学院例1.1　质点在、、、四个整数点上随机游动，当质点在、1234231时分别以/3的概率向左、向右、或停留在原地；当质点在时以概率返回原地；质点在时以概率返回到，求转11413移概率

6、矩阵。解：设{}ξ表示时刻质点所处的位置，则nE={1,2,3,4}.n由题意，有：p=10ppp===11121314ppp===1/3　＝pppp0,===1/3　＝p02122232432333431pp=10===pp43414244⎡⎤1000⎢⎥1/31/31/30则：P=⎢⎥⎢⎥01/31/31/3⎢⎥⎣⎦001072008-12-15北京邮电大学电子工程学院11/31/3画出状态转移图如左所示：12由图可知：1、4是质点不可1/31/3越过的壁，因此1为吸收壁，1即质点到达该点后就被完全43吸住，不再转移；4是反射1/3壁，即质点一

7、旦到达该状1/3态，必然被反射回去。82008-12-15北京邮电大学电子工程学院例1.2（排队模型）设服务系统由一个服务员和只容纳两个人的等候室组成。服务规则是：先到先服务，后来者需在等候室依次排队。假定一个需要服务的顾客到达系统时发现系统内已有三个顾客，则该顾客离去。设时间间隔∆t内将有一个顾客进入系统的概率为q，原来被服务的顾客离开系统的概率为p；又设当∆t充分小时，在∆t的时间间隔内多于一个顾客进入或离开系统实际上是不可能的；再设有无顾客来到与服务是否完毕是相互独立的。现用马氏链来描述该系统，设ξ=ξ(n∆t)表示时刻n∆t时n系统内的顾客

8、数，则{ξ，n=0，1，2，…}为一个齐次的n马氏链，状态空间E={0,1,2,3}，计算其一步转移概率矩阵。92008-