信息论与编码第三章习题参考答案

第三章习题参考答案3-1离散无记忆信道如图

3.10所示，输入X取值空间为/,信道干扰的概率空间为f-1pz」\_a1求信道容量和最佳分布―*©一图

3.10解设的X01概率分布为XPx p1-p根据Y=¥Z可以算出条件转移概率矩阵为㊉a1-aHdx=i\-a a这是一个完全对称的信道，信道容量为C=Jb2-〃=1+alba+1-a lb1一a最佳分布为等概率分布，即3-2写出图

3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布图

3.11解信道的条件转移概率为3044£113333044观察行，可以发现是相互置换的L3设信道输入为，可以计算出相应概率pbj,31Pb=pb=-pbj=-o4平均互信息量为alb幽耳P1%;F二4|ajlb+夕4+夕4|alb1A同理可以计算出，，根据信道容量性质可知由于，且，所以信道容量为，而最佳分布为3-3在某离散无记忆信道上传输二进制符号和1,由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量解信道的条件转移概率矩阵为

0.

9980.002r=n_

0.

0020.998_信道容量为比特/符号，每秒钟的信道容量为C二CN=

0.98*1000二980比特/秒VT3-4如图

3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当/和/时的信道容量1一£图

3.12解信道条件转移概率矩阵为100P=01-££0S1-8假设信道的输入分别为，则有=夕药7=1一£,均+即%夕2=即%+1一£夕％当二时，i l当时，i=2当时,i=381-8I a,Y=si bp1-£Jbp=A+Ibe3+1-£0当即2+1-£整理得-He-7Zp[1-£夕4+即]=X+Ibe一He-1b氏+1-£夕4]=4+Ibe一lbpa=A+Ibe夕耳+夕％+夕％=1解上述方程组，可以得到“IT2-〃c双％=夕％=⑺_L乙当时，信道容量为当时,，信道容量为C=73马=

1.098比特/符号3-5求下列信道的信道容量和最佳分布，并且比较结果1解可以分解为两个互不相交的子矩阵，1—0-2p—E0p—21-p—22f0[1-P-£P-£^「22H6二P一£1一p一££_行元素之和为凡=1-2e N”2c列元素之和为弘=1—2g%=4e对应信道容量为=lb2—HQ—p—p-2e-M「bN\-MlbN=1-〃1—p—p22-2c+〃2c—2s由于信道是输入对称的，所以最佳分布为

050.52可以分解为两个互不相交的子矩阵，[1-p-£P-£1F02sX=与=_p-£\-P-£\|_2c0_行元素之和为M=1—2e也=2e列元素之和为%=1—2c M=2^2对应信道容量为J=lb2-〃1一0一p-2c-MlbN-MlbN[{22=1一〃1一4一8p-82e-2slb2s:C、—C”-1-241从\-2c-28令广x=-1一xlbQ一x—x,£x=lbS-x+Ibe-11从1一xe-1当时，即时一反之亦然3-6设二元对称信道/,/都取值于空间{0,1},其中/表示模2运算，/对应的概率空间为■o r_1一p_试证明max4Xi/L,…,ZQ芍；之比3-7将N个相同的二元对称信道级联，如图

3.13所示，每个信道的转移矩阵为1-尹P.P1一_假设4的概率分布为X=°=Po，PXo=1=1-01求出每个变量的概率分布PXJ/=L2,…,N2证明当/时，/趋向/,而且级联信道的容量/趋向0图

3.13解由于信道级联，且每个子信道的条件概率转移矩阵相同，所以有PX=31-P*N1一夕P其中P=P1-P_根据矩阵分析，首先计算矩阵P的特征根，令可以计算出两个特征根，于是有约当标准型为设可逆矩阵为，使得由，得到由，得到1-夕P1+1-2,〃1—1—pn=/TJZ=~20_P1一夕21_1_2夕于是有，1-p.}Px=1[〃1PXN=[0A乙1+1-2夕N1-1-24N1-1-20N1+1-2pN2当时，所以，级联信道的信道容量趋向

0.3-8有两个离散无记忆信道串联，信道的转移矩阵都是

0.

80.

200.2080001求互信息量1假设第一个信道的输入/是等概率分布，第

一、二个信道的输出分别记做/,/和/⑵求单个信道和级联信道的信道容量，并且比较大小解1略假设信道的输入分别为，则有2夕4=

0.8夕当+

0.242夕用=

0.242+夕%夕用=夕%当i=3时，当i二1时，当时，2+Ibe整i=2Ia,Y=

0.21bp————--+

0.81bp————--二

0.20%+

0.80为

0.320马+

0.8夕火理得-H

0.2-Jbp[

0.8夕2+

0.2夕%]=2+-H

0.2-2bp[_

0.2夕马+

0.8夕4]=%+/%-lbpa=X+Ibe夕药+夕药+〃%=1解上述方程组，可以得到45Lo.2=°-夕3=乙JL,3=]+2「//=S

450.2o-//

0.2夕马=0%=卜〃=0・

2750.

2.L乙-|2|~

0.

80.

20.

32000.682Pz|x二显忠|丫=

0.

20.80=

0.

320.680001001信道容量为比特/符号，最佳分布为

0.275,

0.275,

0.45同理可以计算出概率分布为夕4=-------------=

0.4831+22一〃（

0.2）夕（为）=夕（当）=〃（=

0.

25850.2）乙JL信道容量为比特/符号比较C1,C2可以看出，信道串联后的容量减小了3-9某连续信道的带宽为8kHz,信噪比为31,现在要以/比特/每秒速度传输信息，能否实现？如果要实现信息传输，信噪比的最小值为多少？解根据香农的信道容量公式将I，代入上述公式，得到信道容量C=/伙1+所以不可能已R=105速率传输数据t要实现上述传输，贝山可以计算出信噪比的最小值为3-10设信号功率为/,信道带宽为/,干扰噪声的单边功率谱密度为/,接收机的滤波器等效为一个理想滤波器，频率特性如下.\f\w其他求滤波器能够输出的最大信息量解93=m6（1+——）N°W。