设{X(n),n≥0}为一齐次马尔可夫链,其状态空间E={0,1,2},初始状态的概率分布为,一步转移概率矩阵为
证明:齐次马尔可夫链完全由其初始状态的概率分布 pi=P{X0=i}(i=1,2,…) 和其转移概率矩阵P=(Pij)确定.
考虑三个状态E={0,1,2}的马尔可夫链{Xn,n≥0},其转移概率矩阵为
其中p,q,r>0,p+q+r=1.这一马尔可夫链从状态1开始,一旦进入状态0或2就无法跳出(称0,2为吸收态).试求: (1)假如过程从状态1出发,则被状态0(或2)吸收的概率是多少? (2)平均要多么长的时间,过程会进入吸收态(而永远停在那里)?
设m阶马尔可夫信源S,其符号集A={x1,x2,…xq},又设p1,p2,…,pq为其平稳后的一维概率分布,现定义一无记忆信源,它的符号集也是A={x1,x2,…,xq},又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布,称信源为m阶马尔可夫信源的伴随信源,试证明。