设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…
设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…,J。若译码器以概率γkj(k=1,…,K;j=1,…,J)对收到的bj判决为ak。试证明对于给定的输入分布,任何随机判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。
设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…,J。若译码器以概率γkj(k=1,…,K;j=1,…,J)对收到的bj判决为ak。试证明对于给定的输入分布,任何随机判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。
设一个离散无记忆信道的输入、输出符号集均为{0,1,2,3},信道的概率转移矩阵为
其中,1/3<ω<1/2。设输入符号的概率分别为p(0)=1/2,p(1)=1/4,p(2)=1/8,
p(3)=1/8。求:最佳译码准则的判决函数和平均译码错误率。
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
一个无记忆信道输入为离散随机变量X,噪声Z在区间[-a,+a]上均匀分布,因此输出Y=X+Z是一个连续随机变量。
A.[0,1/2,0,1/2]
B.[0,0,1/2,1/2]
C.[1,0,0,0]
D.[1/4,1/4,1/4,1/4]
某离散无记忆信源S的符号集A={a1,a2,a3,a4,a5,a6,a7,a8},各符号的概率分别为:0.1,0.2,0.2,0.3,0.05,0.05,0.05,0.05;