设DMS的概率空间为 对其单个符号进行二进制编码,即码元集合为X={0,1}。 定义编码f为 f(u1)=w1=0,l1=1
设DMS的概率空间为
对其单个符号进行二进制编码,即码元集合为X={0,1}。
定义编码f为
f(u1)=w1=0,l1=1
f(u2)=w2=10,l2=2
f(u3)=w3=110,l3=3
f(u4)=w4=111,l4=3
试计算:(1)该信源的熵H(U);(2)由码字构成的新信源W的熵H(W);(3)由码元{0,1}构成的新信源X的熵H(X);(4)信息率R
设DMS的概率空间为
对其单个符号进行二进制编码,即码元集合为X={0,1}。
定义编码f为
f(u1)=w1=0,l1=1
f(u2)=w2=10,l2=2
f(u3)=w3=110,l3=3
f(u4)=w4=111,l4=3
试计算:(1)该信源的熵H(U);(2)由码字构成的新信源W的熵H(W);(3)由码元{0,1}构成的新信源X的熵H(X);(4)信息率R
19.设某离散平稳信源X,概率空间为
并设信源发出的符号只与前一个相邻符号有关,其联合概率为p(aiaj)如下表所示。
联合概率p(aiaj) | ||||
p(aiaj) | ai | |||
0 | 1 | 2 | ||
aj | 0 | 1/4 | 1/18 | 0 |
1 | 1/18 | 1/3 | 1/18 | |
2 | 0 | 1/18 | 7/36 |
求信源的信息熵、条件熵与联合熵,并比较信息熵与条件熵的大小。
19.设某离散平稳信源X,概率空间为
并设信源发出的符号只与前一个相邻符号有关,其联合概率为p(aiaj)如下表所示。
联合概率p(aiaj) | ||||
p(aiaj) | ai | |||
0 | 1 | 2 | ||
aj | 0 | 1/4 | 1/18 | 0 |
1 | 1/18 | 1/3 | 1/18 | |
2 | 0 | 1/18 | 7/36 |
求信源的信息熵、条件熵与联合熵,并比较信息熵与条件熵的大小。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
设m阶马尔可夫信源S,其符号集A={x1,x2,…xq},又设p1,p2,…,pq为其平稳后的一维概率分布,现定义一无记忆信源,它的符号集也是A={x1,x2,…,xq},又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布,称信源为m阶马尔可夫信源的伴随信源,试证明。
6.设信源U={0,1,2,3}无记忆,各符号等概率分布,信宿V={0,1,2,3,4,5,6}。失真函数定义为
证明其率失真函数R(D)如图所示。
设{X(n),n≥0}为一齐次马尔可夫链,其状态空间E={0,1,2},初始状态的概率分布为,一步转移概率矩阵为
设一离散无记忆信道的输入符号集为{a1,…,aK},输出符号集为{b1,…,bJ},信道转移概率为p(bj|ak),k=1,…,K;j=1,…,J。若译码器以概率γkj(k=1,…,K;j=1,…,J)对收到的bj判决为ak。试证明对于给定的输入分布,任何随机判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。
设一幅灰度级为6(分别用a1、a2、a3、a4、a5、a6表示)的图像中,各灰度所对应的概率分别为0.40、0.30、0.10、0.10、0.06、0.04,对其进行赫夫曼编码。