马尔科夫链ppt课件.ppt
《马尔科夫链ppt课件.ppt》由会员分享,可在线阅读,更多相关《马尔科夫链ppt课件.ppt(78页珍藏版)》请在三一办公上搜索。
1、关键词: 马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常返 互达 周期 不可约 平稳分布,第十一章 马尔可夫链,浙江大学随机过程,3,浙江大学随机过程,4,4,浙江大学随机过程,5,浙江大学随机过程,6,浙江大学随机过程,7,浙江大学随机过程,8,浙江大学随机过程,9,浙江大学随机过程,10,浙江大学随机过程,11,如果把1这点改为吸收壁,即Q一旦到达1这一点, 则永远留在点1时,此时的转移概率矩阵为:,浙江大学随机过程,12,例4:排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为:先到先服务,后来者需在等候室依次
2、排队,假设一个需要服务的顾客到达系统时发现系统内已有3个顾客,则该顾客立即离去。 设时间间隔t内有一个顾客进入系统的概率为q,有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当t充分小时,在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的,再设有无顾客来到与服务是否完毕是相互独立的。,浙江大学随机过程,13,现用马氏链来描述这个服务系统: 设Xn=X(nt)表示时刻nt时系统内的顾客数,即系统的状态。Xn,n=0,1,2是一随机过程,状态空间I=0,1,2,3,且如前例1、例2的分析可知,它是一个时齐马氏链,它的一步转移概率矩阵为:,浙江大学随机过程,14,例5:设甲、乙两袋共装
3、5个球,每次任取一袋,并从袋中 取出一球放入另一袋(若袋中无球则不取)。Xn表示 第n次抽取后甲袋的球数,n=1,2,.Xn,n=1,2, 是一随机过程,状态空间I=0,1,2,3,4,5,当Xn=i 时,Xn+1=j的概率只与i有关,与n时刻之前如何取到 i值是无关的,这是时齐马氏链,一步转移矩阵为:,浙江大学随机过程,15,例6:卜里耶(Polya)罐子模型。设一罐子装有r个红球, t个黑球,现随机从罐中取出一球,记录其颜色,然后将 球放回,并加入a个同色球。持续进行这一过程,Xn表示 第n次试验结束时罐中的红球数,n=0,1,2,. Xn,n=0,1,2,是一随机过程, 状态空间I=r,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 马尔科夫链 ppt 课件
链接地址:https://www.31ppt.com/p-1466849.html