"一类很重要的markov过程是所谓'随机游动问题'.这类问题有其广泛的应用,例如在扩散与布朗运动的理论中,在赌博中也是如此." 考虑下面简单例子:
[图] (stair)①  ②(man) ③  ④(bed)
[题]  一个醉汉在他的床与离床三步远的楼梯顶之间蹒跚.他每走一步,朝着床走的机会与朝着楼梯走的机会的比是3:1.如果他到了位置1,就会摔下楼梯;如果他到了位置4,就一定会睡个好觉. 
i) 证明,这个醉汉最终一定到达床和楼梯顶这两个位置中的一个.
ii) 分别计算他从离床两步远(位置2)和离床三步远(位置3)到床上去的概率.　

公布答案:
i) 假定他从2出发,则他走到3再走到2这样来回k次的概率为(0.25 * 0.75)^k = (3/16)^k, 当k->∞时,最终概率是0.由此可见,这个醉汉一定会在位置1或4结束这一过程.
ii iii) 假定醉汉从位置2出发,最终到达楼梯顶的概率为p;如果他从位置3出发,此概率为q. 那么,相应的到达床的概率分别为1-p和1-q. 我们得出下列方程:
p = 1/4 + 3/4*q;
q = 1/4*p;
所以q=1/13,p=4/13.

[联想]联想到游戏中的游动npc,可以看成把此题扩展到多个结点的地图上.这时如何计算呢?

此帖转自:[url]http://www.programfan.com/team/team.asp?team_id=1007[/url]