对于离散二维平稳信源的熵,以下说法错误的是()。
A.对与同一平稳信源X,其发出的前后两个符号的平均信息量相同
B.一般情况下,输出两个符号的联合熵总是小于等于二倍信源的熵
C.序列的关联是可以延伸到无穷的
D.上面选项都错误
A.对与同一平稳信源X,其发出的前后两个符号的平均信息量相同
B.一般情况下,输出两个符号的联合熵总是小于等于二倍信源的熵
C.序列的关联是可以延伸到无穷的
D.上面选项都错误
19.设某离散平稳信源X,概率空间为
并设信源发出的符号只与前一个相邻符号有关,其联合概率为p(aiaj)如下表所示。
联合概率p(aiaj) | ||||
p(aiaj) | ai | |||
0 | 1 | 2 | ||
aj | 0 | 1/4 | 1/18 | 0 |
1 | 1/18 | 1/3 | 1/18 | |
2 | 0 | 1/18 | 7/36 |
求信源的信息熵、条件熵与联合熵,并比较信息熵与条件熵的大小。
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
近似认为此信源为无记忆时,符号的概率分布等于平稳分布。求近似信源的熵H(X)并与H∞进行比较。
一个离散无记忆信源的字符集为{-5,-3,-1,0,1,2,3),相应的概率为{0.08、0.2、0.15、0.03、0.12、0.02、0.4}。 (1)设计信源熵H(x)。 (2)设计该信源的哈夫曼(Huffman)编码。
求下列计算值: (1)已知二元离散信源具有0、l两个符号,若出现0的概率为1/3,求出现1的自信息量: (2)若某离散信源由0、l、2、3四种符号组成,出现概率为:
求该信源的熵; (3)已知电话信道的带宽是3400Hz,若要求传输6800bps的数据,请计算要求信道的最小信噪比是多少分贝。假设信道中的噪声是加性高斯噪声。
(1) H(SX) () H(X);
(2)h(U) () h(U):
(3) H(X|Y) () H(X|YZ);
(4) H(XY) () H(X)+ H(Y):
(5) I(f(U):g(V)) () I(U;V)。
设有一马氏链,初始概率分布为P(a)=0.6,P(b)=0.3,P(c)=0.1,
P(a|a)=P(b|a)=P(c|a)=1/3, P(a|b)=P(b|b)=P(c|b)=1/3,
P(a|a)=P(b|c)=1/2, P(c|c)=0。
(1)写出该信源的状态转移概率矩阵;
(2)画出状态转移图;
(3)求信源的平稳状态分布;
(4)计算平稳信源的熵。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求: