设马尔可夫链的转移概率矩阵为 求每一个不可约闭集的平稳分布.
设马尔可夫链的转移概率矩阵为
求每一个不可约闭集的平稳分布.
设马尔可夫链的转移概率矩阵为
求每一个不可约闭集的平稳分布.
设马尔可夫链有状态0,1,2,3和转移概率矩阵
试求f00(n)(n=1,2,3,4,5,…),其中fij(n)由P{Xn=i,Xk≠i,k=1,…,n一1|X0=i}定义.
设{X(n),n≥0}为一齐次马尔可夫链,其状态空间E={0,1,2},初始状态的概率分布为,一步转移概率矩阵为
考虑状态0,1,2上的一个马尔可夫链Xn(n≥0),它有转移概率矩阵P, 初始分布为p0=0.3,p1=0.4,p2=0.3.试求概率P{X0=0,X1=1,X2=2).
考虑三个状态E={0,1,2}的马尔可夫链{Xn,n≥0},其转移概率矩阵为
其中p,q,r>0,p+q+r=1.这一马尔可夫链从状态1开始,一旦进入状态0或2就无法跳出(称0,2为吸收态).试求: (1)假如过程从状态1出发,则被状态0(或2)吸收的概率是多少? (2)平均要多么长的时间,过程会进入吸收态(而永远停在那里)?
在成败型的重复试验中,每次试验结果为成功(S)或失败(F).同一结果相继出现称为一个游程(run),比如一串结果“FSSFFFS”中共有两个成功游程,三个失败游程.设成功概率为p,失败概率为q=1一p.记Xn为n次试验后成功游程的长度(若第n次试验失败,则Xn=0).试证{Xn,n=1,2,…)为一马尔可夫链,并确定其转移概率矩阵;记T为返回状态0的时间,试求T的分布及均值,并由此对这一马尔可夫链的状态进行分类.
证明:齐次马尔可夫链完全由其初始状态的概率分布 pi=P{X0=i}(i=1,2,…) 和其转移概率矩阵P=(Pij)确定.
试求今日有雨且第4日仍有雨的概率(设α=0.7,β=0.4).