6.设信源U={0,1,2,3}无记忆,各符号等概率分布,信宿V={0,1,2,3,4,5,6}。失真函数定义为 证明其率失真函数R
6.设信源U={0,1,2,3}无记忆,各符号等概率分布,信宿V={0,1,2,3,4,5,6}。失真函数定义为
证明其率失真函数R(D)如图所示。
6.设信源U={0,1,2,3}无记忆,各符号等概率分布,信宿V={0,1,2,3,4,5,6}。失真函数定义为
证明其率失真函数R(D)如图所示。
设输入符号集与输出符号集为X=Y={0,1,2,3},且输入信源的分布为
P(X=i)=1/4,i=1,2,3,4
设失真矩阵为,求Dmax、Dmin及R(D)。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
(1)信源无记忆时,有当且仅当信道无记忆时等式成立。
(2)信道无记忆时,有当且仪当信源无记忆时等式成立。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
已知信源U={0,1},信宿V={0,1,2}。设信源输入符号等概率分布,失真矩阵为
求信源的率失真函数R(D)。
设m阶马尔可夫信源S,其符号集A={x1,x2,…xq},又设p1,p2,…,pq为其平稳后的一维概率分布,现定义一无记忆信源,它的符号集也是A={x1,x2,…,xq},又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布,称信源为m阶马尔可夫信源的伴随信源,试证明。