资源简介

(共39张PPT)
12.2、马尔可夫链
别为1/2,1/4,1/4,即
例1 (Markov Frog) 有一个青蛙在某池塘中的三片
荷叶(标号为1， 2， 3)上跳来跳去，如图所示，用
随机变量序列
表示青蛙在时刻n时的
位置，开始状态青蛙在第1，2，3片荷叶上的概率分
称其初始分布为
其一步转移概率矩阵为
设一步转移概率为
定义12－5 设{X(n)，n=1, 2, …}为一随机序列，状
态空间S为有限或可列集，对于正数数n，若ik S
有
则称{X(n)，n=1, 2, …}为马尔可夫链，简称马氏链.
定义12－6 设{ X(n)，n =0, 1, 2, …}为随机变量序
列，状态空间S={1,2，…, N}, 则起始时刻的分布
称为该随机变量序列的初始分布。其向量形式为
显然满足下列性质
需要指出的是：这里的N可以趋于 。
定义12－7 设{ X(n)，n =1, 2, …}为随机变量序列
称为该随机序列由状态i经过m步转移到
j状态的转移概率.
若
与n无关，即
它的含义是：系统由状态i到状态j的转移概率只依赖于时间间隔的长短，与起始时刻n无关。
称该随机序列具有齐次性。
若m=1, 称
状态i转移到j的一步转移概率.
对于齐次的随机变量序列{ X(n)，n =1, 2, …}，
为该齐次随机变量序列的m步转移概率矩阵，若该
随机变量序列的状态空间S={1, 2, …，N}, 则m步转
移概率矩阵P(m)为：
特别地，当m=1时，P(1)为一步转移概率矩阵，记为P
它具备下列三条基本性质
（1）对一切
（2）对任间的
（3）对任间
如何利用计算机描述马氏过程呢？其过程可以通过
例1来详细说明。
(1) 产生一个随机数
即在[0, 1]区间上
随机取一个数，则
(2) 再产生一个随机数,
若
，则
，则
若
若
，则
如此继续下去，得到一系列随机变量。
例12－10 编号为Ⅰ,Ⅱ,Ⅲ的口袋中各装有一
些球，其具体组成下表.
球个数 一号球 二号球 三号球
口袋Ⅰ
口袋Ⅱ
口袋Ⅲ 2
2
3 1
0
2 1
1
0
若规定有放回的抽取，每次取一个，第一次
从口袋Ⅰ中取，第n(n>1)次从与第n-1次取到
马氏链，试写出它的一步转移概率矩阵.
的球号数相同的口袋中取，X(n)表示第n次取
到的球的号数，显然{X(n) n=1,2……}且一个
解
例12－11 某计算机机房的一台计算机经常
出故障，研究者每隔15分钟观察一次计算机
的运行状态，收集了12小时的数据(共作49次
观察)用1表示正常状态，用0表示不正常状态
所得的数据如下：
态空间S={0,1}求其转移概率矩阵.
111001001111111001111011111101111111
1100011011011
解
根据题意，48次状态转移情况
5次
8次
27次
8次
设X(n)为某n (n=1，2,…,49)个时段的计算机
状态，可以认为它是一个齐次的马氏链，状
因此一步转移概率可近似地表示为
示第n次观察时店内的顾客数，记录数据如下
例12－12 假设一小理发店有一名服务员和
一个供等候理发的顾客坐的椅子，即该店最
多可容纳2名顾客，若新来的顾客发现店内
有2名顾客立即离去而不在店外等候，现在
每隔15分钟观察一下店内的顾客数，X(n)表
0 2 1 2 1 0 2 2 1 1 0
1 0 0 0 1 1 2 2 2 1 0
估计一步转移概率矩阵。
解：首先将不同类型转移数nij统计分类记入下表
i j转移数nij 0 1 2 行和ni
0
1
2 2 2 2
4 2 2
0 4 3 6
8
7
定理12－1(C－K方程即切普曼-柯尔莫哥洛夫方程) 设{ X(n), n =1, 2, …}为齐次马氏链，其状态空间S={1，2，…}，则对任意正整数m, n，有
12.2.2、切普曼-柯尔莫哥洛夫方程
如果知道了一步转移概率矩阵，如何求出任
意有限多步转移概率是随机过程中重要的研
究问题之一.
上述方程称切普曼-柯尔莫哥洛夫方程，简称为C-K方程，可写成如下矩阵形式
证明：
例12－13 若马氏链{X(n)，n=1,2……},状态空间S={1，2，3}其一步转移概率为
求由状态1经过2步到达状态3的概率，即求
解：根据题意，系统的转移情况如下：
定理12.2 设齐次的马氏链
的状态空间为
初始分布为
由此不难得到
证明 对任意的
，有
值得注意的是：
时，
的极限存在为
即
则应满足
例12－14 若顾客的购买是无记忆的，即已知现在顾客购买的情况，未来顾客的购买情况不受购买历史的影响，而只与现在购买的情况有关. 现在市场上有Ａ、Ｂ、Ｃ三个不同厂家生产的５０克袋装味精，用“Ｘ(n)=1”“Ｘ(n)=2”“Ｘ(n)=3”分别表示“顾客第n 次购买Ａ、Ｂ、Ｃ厂的味精”显然{Ｘ(n), n=1,2……}为－马氏链，若已知顾客第一次购买三厂味精的概率分别为0.2，0.4，0.4，又知道一般顾客购买倾向表由下表给出，求顾客第二次购买各厂味精概率，并问长期多次购买后，顾客
的购买倾向如何.
下 次 购 买
A B C
上
次
购
买 A
B
C 0.8
0.5
0.5 0.1
0.1
0.3 0.1
0.4
0.2
解： 根据题意，一步转移概率矩阵为
初始分布为
(0.56，0.18，0.26)
这说明经过长期购买，Ａ、B、Ｃ三厂含有市场份额为60/84，11/84，13/84.
现在的问题是在什么条件下极限分布存在呢？下面来讨论这个问题。
12.2.3、转移概率的渐近性质
根据定理12－1，对于马氏链，从已知状态
i出发，经过几步转移到状态j的概率满足
C-K方程
进一步地希望了解
时
的极限情况.
根据定理12-2，也希望知道在什么条件下，
为此引入下面基本极限定理. 这也是本节最重要的定理。
当
时，
的极限存在。
定理12－3(基本极限定理) 若齐次的马氏链的
状态空间为S，是一有限集，满足下列条件
(1) 其每一个状态是非周期的；
(2) 该马氏链具有不可约性；称该马氏链具有遍历性，则
其中
与i无关，
为极限分布，它是方程组
满足
的唯一解.
回到例12-9，一步转移概率矩阵为
回到基本极限定理，下面来解释什么是非周期性，什么是不可约性。

展开更多......

收起↑