13．有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P（0)=1/4，P（1)=1/4，P（2)=1/2，设计两个独立试验去观

I(X;Y₁)=H(Y₁)-H(Y₁|X)，计算H(Y₁)和H(Y₁|X)需要用到P(Y₁)、P(XY₁)和P(Y₁|X)，其中P(Y₁|X)已知。
计算P(Y₁)得
P(Y₁=0)=P(Y₁=0|X=0)P(X=0)+P(Y₁=0|X=1)P(X=1)+P(Y₁=0|X=2)P(X=2)

P(Y₁=1)=1-P(Y₁=0)=1/2
所以

计算P(XY₁)，得

同理可得





所以

那么

I(X;Y₂)=H(Y₂)-H(Y₂/X)，已知P(Y₂|X)，计算H(Y₂)和Ⅳ(Y₂/X)需要先求P(Y₂)，P(XY₂)，用类似以上的方法可得结果，如表2所示。

表2 P(Y2)与P(XY2)的计算结果
P(XY2)	Y2
0	1
X	0	1/4	0
1	1/4	0
2	0	1/2
P(Y2)	1/2	1/2

可以得出


I(X;Y₂)=H(Y₂)-H(Y₂|X)=1bit/符号
第二个试验能给出较多的信息量，因此第二个试验好些。$I(X;Y₁Y₂)=H(Y₁Y₂)-H(Y₁Y₂|X)，计算时需用到概率P(Y₁Y₂)、P(XY₁Y₂)和P(X₁Y₂|X)。
由于Y₁、Y₂是相互独立的试验，所以
P(Y₁Y₂)=P(Y₁)P(Y₂)
得到
P(Y₁Y₂=00)=P(Y₁Y₂=01)=P(Y₁Y₂=10)=P(Y₁Y₂=11)=1/4
并且
P(Y₁Y₂|X)=P(Y₁|X)P(Y₂|X)
即
P(Y₁Y₂=00|X=0)=p(Y₁=0|X=0)P(Y₂=0|X=0)=1·1=1
P(Y₁Y₂=01|X=0)=P(Y₁=0|X=0)P(Y₂=1|X=0)=1·0=0
P(Y₁Y₂=10|X=0)=P(Y₁=1|X=0)P(Y₂=0|X=0)=0·1=0
同理可得其他P(Y₁Y₂|X)，如表3所示。

表3 P(Y1Y2|X)的计算结果
P(Y1Y2/X)	Y1Y2
00	01	10	11
X	0	1	0	0	0
1	0	0	1	0
2	0	1/2	0	1/2

因为
P(XY₁Y₂)=P(Y₁Y₂|X)P(X)
所以



同理可得其他P(XY₁Y₂)，如表4所示。

表4 P(XY1Y2)的计算结果
P(XY1Y2)	Y1Y2
00	01	10	11
X	0	1/4	0	0	0
1	0	0	1/4	0
2	0	1/4	0	1/4

可得



可以看出：做Y₁和Y₂两个试验比单独做Y₁一个试验多得到的信息为

同理，做Y₁和Y₂两个试验比单做Y₂一个试验多得到的信息为
$根据平均互信息的性质
I(X;Y₁Y₂)=I(X;Y₁)+/(X;Y₂/Y₁)
即Y₁Y₂供的关于X的信息量I(X;Y₁Y₂)，等于Y₁提供的信息量I(X;Y₁)与Y₁已知前提下Y₂提供的信息量I(X;Y₂/Y₁)之和。
变形得，它表示做完Y₁试验以后，从Y₂试验得到的关于X的信息量。
同理可得，它表示做完Y₂试验以后，从Y₁试验得到的关于X的信息量。