设输入符号集与输出符号集为X=Y={0,1,2,3},且输入信源的分布为 P(X=i)=1/4,i=1,2,3,4 设失真矩阵为,求Dma
设输入符号集与输出符号集为X=Y={0,1,2,3},且输入信源的分布为
P(X=i)=1/4,i=1,2,3,4
设失真矩阵为,求Dmax、Dmin及R(D)。
设输入符号集与输出符号集为X=Y={0,1,2,3},且输入信源的分布为
P(X=i)=1/4,i=1,2,3,4
设失真矩阵为,求Dmax、Dmin及R(D)。
设输入符号集为X={0,1},输出符号集为Y={0,10}。定义失真函数为
d(0,0)=d(1,1)=0; d(0,1)=d(1,0)=1
试求失真矩阵[d]。
设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…,J。若译码器以概率γkj(k=1,…,K;j=1,…,J)对收到的bj判决为ak。试证明对于给定的输入分布,任何随机判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。
(1)证明如果离散信源的失真矩阵足行准对称失真矩阵,且在划分的子矩阵中信源输入符号的概半相等,那么通过与失真地阵具有同样对称性且满足失真约束的试验信道可以达到R(D)。
(2)一个包含3符号的信源X。符号集为{-1,0,1},概率分别为: p,1-2p,P, (p≤1/2):试验信道输出Y,符号集含2个符号{-1,1},失真测度为求R(D)函数。
设信源模型为
(1)码符号集为X= {0,1,2},试对信源进行Huffman编码并求平均码长、编码效率和编码后信息传输速率。
(2)构造一种有约束的具有最小平均长度的异前置码,此约束是每个码字的第1个符号可以是0,1,2;后续的符号为0或1。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
(1) H(SX) () H(X);
(2)h(U) () h(U):
(3) H(X|Y) () H(X|YZ);
(4) H(XY) () H(X)+ H(Y):
(5) I(f(U):g(V)) () I(U;V)。
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
有一叠加性噪声的信道,输入符号x是离散的,取值+1或-1,噪声N的概率密度为则输出的Y=X+N是一个连续变量。
(1)求这一半连续信道的容量。
(2)若在输出端接一检测器也作为信道的一部分,检测输出变量为Z有当Y >1,则Z=1;1≥Y≥-1,则Z=0; Y<-1,则Z=-1,这就成为了一个离散信道,求它的容量。
(3)若检测特性改为:当Y≥0,则Z=1;当Y<0,则Z=-1.求这离散估道的容量。
(4)从上面结果可见,(2)的检测器无信息损失,而(3)则不然:若噪声特性改为试构成一个不损失信息的检测器。