一个离散时间无记忆加性躁声信道的输入X限制在[-2,2]:独立于X的噪声Z在(-1,1)区间均匀分布。熵为h(Z);信道输出Y的熵为h(Y)。(1)写出信道输入与输出平均互信息I(X;Y)的表达式。(2)求信道容量和达到容量时的输出概率分布。(3)求达到容量时的输入概率分布。
设离散无记忆信源X通过离散无记忆信道{X,PY|X,Y}传送信息,设信源的概率分布为:
信道线图如图所示。
试求:
(1)从输出符号bj(j=1,2)中所获得的关于输入符号ai(i=1,2)的信息量;
(2)信源X和信道输出Y的熵;
(3)信道损失熵H(X|Y)和噪声熵H(Y|X);
(4)从信道输出Y中获得的平均互信息量I(X;Y)。
一个离散无记忆信源的字符集为{-5,-3,-1,0,1,2,3),相应的概率为{0.08、0.2、0.15、0.03、0.12、0.02、0.4}。 (1)设计信源熵H(x)。 (2)设计该信源的哈夫曼(Huffman)编码。
对于离散无记忆强对称信道,信道矩阵为
试证明对于此信道,最小距离译码准则等价于极大似然译码准则。
设有两个离散信道,其分别输入为X1和X2,输出为Y1和Y2,对应这两个信道的传递概率为P1(y|x)和P2(y|x),如图3.18所示。其X1和X2的概率分布分别为P1(x)和P2(x)。
Find a joint probability assignment P(xyz) such that I(X;Y)=0 and I(X;Y|Z)=1bit.
求下列计算值: (1)已知二元离散信源具有0、l两个符号,若出现0的概率为1/3,求出现1的自信息量: (2)若某离散信源由0、l、2、3四种符号组成,出现概率为:
求该信源的熵; (3)已知电话信道的带宽是3400Hz,若要求传输6800bps的数据,请计算要求信道的最小信噪比是多少分贝。假设信道中的噪声是加性高斯噪声。
假设输入信道的加性高斯白噪声功率为N(W),信道的带宽为B(Hz),信号功率为S(W),则连续信道容量的公式为_____________
设状态连续、时间离散的随机过程X(t)=sin 2παt,其中t=1,2,…,α服从(0,1)上均匀分布的随机变量,试讨论X(t)的平稳性.