设有两相关离散无记忆信源S1=S2={0,1},且 其中α∈{0, 0.3,0.5,0.7,1}。对各α值求出速率对的界限,并说明参
设有两相关离散无记忆信源S1=S2={0,1},且
其中α∈{0, 0.3,0.5,0.7,1}。对各α值求出速率对的界限,并说明参数α的作用。
设有两相关离散无记忆信源S1=S2={0,1},且
其中α∈{0, 0.3,0.5,0.7,1}。对各α值求出速率对的界限,并说明参数α的作用。
1.设有两相关离散无记忆信源S1=S2={0,1},且
其中α∈{0, 0.3,0.5,0.7,1}。对各α值求出速率对的界限,并说明参数α的作用。
设有信源S1和S2,s2∈S2,s1∈S1,s2=f(s1)为某确定函数。找出并画出这两个相关信源的Slepian-Wolf区域。
一个离散无记忆信源的字符集为{-5,-3,-1,0,1,2,3),相应的概率为{0.08、0.2、0.15、0.03、0.12、0.02、0.4}。 (1)设计信源熵H(x)。 (2)设计该信源的哈夫曼(Huffman)编码。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
13.有一离散无记忆信源,其输出为X∈{0,1,2},相应的概率为P(0)=1/4,P(1)=1/4,P(2)=1/2,设计两个独立试验去观察它,其结果分别为Y1∈{0,1),Y2∈{0,1},已知条件概率如表1所示。
表1 条件概率P(Y1|X)和P(Y2|X) | |||||||
P(Y1下|X) | y | P(Y2|X) | y | ||||
0 | 1 | 0 | 1 | ||||
X | 0 | 1 | 0 | X | 0 | 1 | 0 |
1 | 0 | 1 | 1 | 1 | 0 | ||
2 | 1/2 | 1/2 | 2 | 0 | 1 |
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
某离散无记忆信源S的符号集A={a1,a2,a3,a4,a5,a6,a7,a8},各符号的概率分别为:0.1,0.2,0.2,0.3,0.05,0.05,0.05,0.05;
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。