信息论与编码—习题及答案 【ch04】波形信源和波形信道

第四章波形信源和波形信道

4.1设有一连续随机变量其概率密度函数为“I|Acos%|xi WTT/2工取其他值pX=l0「pxdx=1又有J-/2,试求随机变量的燃答案略

4.2计算连续随机变量的差煽%^0A0P%=p=4⑴指数概率密度函数,入,欠■入❷O8xx A0i1,一「22拉普拉斯概率密度函数，答案1略2略0W%Wabx2p%=0其他

4.3设有一连续随机变量,其概率密度函数为试求该随机变量的烯又若小=X+KK0,匕=2X,试分别求出X和七的h匕和h^o以MX=-J pxkgx^=-6bx log bx dxa=-log b-2h log e dxIn xdx-a zblog a-logb由于因此因此J pxdx^l,43bH3,办521-%k；h X=Jog e+log a-log3当时，图因此n=X+KK0=1,2hY1=MX-ERogl]:AX=lo§c+log a-log3当时,Y1^2XhYi=MX-=力X亍log c+log alog；

4.4给定两随机变量Xi和X2,它们的联合概率密度函数为求随机变量丫=X#X2的概率密度函数,并计算变量Y的h Y0答案略

4.5设一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a若消息从放大器中输出问放大器输出消息在每个自由度上的最大是多少又o放大器的带宽为匕问单位时间内输出最大信息量是多少？答案略

4.6有一信源发出恒定宽度,但不同幅度的脉冲，幅度值X处在内和Q2之间此信源连至某信道，信道接收端接收脉冲的幅度y处在瓦和

⑦之间已知随机变量和丫的联合概率密度函数试计算hX,hY,hXY和I X;YoP x=J以x,y拿-----------------------5---------dy=埴-alM-bl._1a2-al因此AX=-J^xlogpxA=loga2-alMY=-J以y logKy四=logb2-blMXT=-J以x,ylog以兄y刎=10gg2-al+logW-dl/》;丫=网》+M丫-岚打=0Z

4.7在连续信源中根据差烯、条件差燧和联合差烯的定义证明⑴hX|丫且当X,丫统计独立时等式成立彼此wax+M3+…，⑵乂及乙…标+九几且当X…统计独立时等式成立1Mxr=-J以次酊A^lyiogpx|yA W-J以P烛J以x|ylogp微=-J/Uylogpx%等号成立当且仅当-X1乃=以X,即以x,y=A X以y,因此仅当X和Y统计独立时等号成立⑵根据条件概率密度的相关公式，有hXlX2XN^hXi^hX2\Xl^hX3\XlX2^-^hXN\X\X2XN-\根据1的结论，条件差幅小于差惆，因此有hX\X2…XNW MXl+MX2+・.・+MX.V等号成立当且仅当以x2|xl=-x2以x3|xlx2=以x3pixN\x\x2…xN-l=以xN即pxlx2=以xl以x2以xlx2x3=以xl以x2岚x3以xlx2…xN=l以x2…以型

4.8设连续随机变量X,已知X与0,其平均值受限，即数学期望为A,试求在此条件下获得最大的最佳分布，并求出最大煽给定条件如下:以核J X=1J必X）吹目标求-J Ax）logp（x）A的最大值构造函数核Fpx=-J pxlogpxA+Z JJ/x-尸㈤庭以加加工一划功重=J=d，-M xlog H x・W x+7皿xn即可，因此有=0X T现X-logp xTog e+/+ox=0px=22+ax-loge根据J以x）^=l,J孤x）数=A,可得工，r\2J黑kk=d=x=-7lkge，因此内）=1饱味2，“，此时AHX=T pxlogpxgfr

4.9N维连续型随机序列“=（七%…篇）有概率密度=-log_yiog+iiog心）及矶（Xi）2]”,g2…⑼证明当随机序列的分量先各自达到正态分布并彼此统计独立时最大，最大为答案:略

4.10N维连续型随机序列X=（X…瑞），其各分量幅度分别受限为“也=12试证明当随

4.10机序列的分量X,各自达到均匀分布并彼此统logfl4-%计独立时最大最大烯等于m答案略

4.11设.及…4都是互相独立的正态分布的随机变量，其方差分别为吠㈤，…，T均值分别为如，根2,…，犯V试证明即正v W2m=26/ntj态随机变量之和仍是正态随机变量，其均值F,方差2二i o答案略1-j-^«2/3a2py I%二-----------e，-《7/4«2eP=——O试计算1信源的而信道输人变量X的概率密度函数为九hX；⑵平均信息lX;Y答案略

4.13试证明两连续随机变量之间的平均互信息I X:Y是输人随机变量的概率密度函数px的C形凸函数网Fixzx；r-jpxp-|xiog血力MAylxdxd\,设存在x的两个概率密度pl x和p2x，拶数0W W1,目标证明:/归》+心2幻三0plx+；/p2x过程如下a3x1Gp2x-/Slx+7p2xXFix-=/plxP，xtog,⑴她♦/门⑶川》xloA..•/双xxlog p0210—■/6x由|Xtof//aw xkg而——dxdy川Nr■一2皿J/XPG xbg-J蚓・/plxjlog■log；plx|y〃y及经-0阿理.J叫x/O”kg WO,因此有/pl x+口2幻三Zplx+；/p2幻

4.12设某连续信道，其特性如下

4.14试证明连续信源X的相对h（X）是概率密度函数p（X）的n形凸函数设存在的两个概率密度和，参数目标证明X plXp2x ow w1,依/Kplx+p2x plx+7-p2x过程如下依M x++lMp2x-ASl x+p2x=-J pl x logpl9-J p2xlogp2xA+J^lxh4!；IW I,山嗯㈤蜒耳LPlxl5而Px pirJlP xlog fx AWlogJpli-=logl=0rlx同理，各一欧/p2xlog W°因此依加口plx++p2x-M3x+2x S0X=（X X-X）._12V

4.15设信道输人是连续型的随机序列12；输是连续型的随序列丫=（匕丫2…八），信道的传递概率密度函数为°门试证明N/（x；y）n/（%；匕）£（D信源无记忆时则存在--,当且仅当信道无记忆时等式成立N/（x；y）w/（%；匕）£

（2）信道无记忆时则存在,当且仅当信源无记忆时等式成立夕xlx2…xV|11y2…yN=J Hxlx2…JdVjlyl-XlogXxlx2-xy或尸=J p xlx2…jl2…y N…yN|xlx2…xA1logWW…yNIX\X1-XNJ1Y1…EV工/（左探）JU!I，川山川融一r、长㈤…公力砂…公12p（xl[I）p（x2宜）•，（»・

1、,）=，Pxlx2…理Jl2…或现尔1）尔2）…双河）dxldxl-dxNAAdyl…今Np（〉l xl）p（W Q/G.V工V）■Jpxlx2…或jl2…威log dx\dx2…dxNdvldy•••dv N以山）以》2・域）当信源无记忆时，即/仪於1xlx2…Px2…/…XN;HT2…EVHxl]yl Mx21-2…HW-Nr」…取…庶跃…以…》血…细如…如■J xmlog2yly2NxixH xlWHx2F2…W x\IC…超…更•…峨心,…如VSlog*1x2M2…/…5NXxlx2yiyl…成斗pxl31i NH……戒,…威一[[、=log JRxl Hdx\-ANdyl-flfeVv v°r\i pxl-xN.yl…yN…密…域声•期g…如邸=log SRxllyl lWHyl1=1等号成立当且仅当双地或…理,I|32…«|y,V=axlx2|yly2…yN当—・・・yN|xl-x.V=Xy1xl…pyN\戒时，根据信源的无记忆性，即以…型…如如…仄戏1…W|xl/01=.yl|xl…/OW|«xl即…改,…内上以…以叙⑴pxl W9,yl两边对各自由度根分得以1…y,V=pyl・.«”2式两边除以⑵式两边得1一一|ylA^2|j2-XxAr|jAr=^xlx2-xN\yly2…yN因此等号成立当且仅当连续信道无记忆2当信道无记忆时，即—…yN xl…xN=Myl|xl-pyAr|xV时，IXIX2-XN\Y\Y1…EV-Z/^z;K-［黑力…成状…蛾g…3x2W2-Vbg®N，1i-2…M…或以口口A1…/力…如“siog JamM2…x…hV i=o等号成立当且仅当…小’=尸》》1…a N当…可=吊戏，根据信道的无记忆性，有%201px2…皮Hyl-yN\xl…M…a—M因此有Xxl-xVyl-yN^pxl yl・・p项,》N9两边对自由度…公求和得xlPG,1…w=pi…a〉w即式等号成立的条件是信源为无记忆信源

24.16在图片传输中每约为

2.25x106个像素为了能很好地重现图像需分16个亮度电平并假设亮度电平等概率分布试计算每秒传送30图片所需信道的带宽信噪功率比为30dB o每秒需要传猫的信息量为比特/秒

2.25106-30logl6-

2.7108信道的信喙比为30dB,即lOloglO PN PN因此信道容量为C外可推得带宽为PN

2.7108F-

2.71107Hzlog

10014.17设在平均功率受限高斯加性波形信道中，信道带宽为3kH,又设信号功率+噪声功率/噪声功率=10dB1试计算该信道传送的最大信息率单位时间；2若功率信噪比降为5dB要达到相同的最大信息传输率，信道带宽应是多少1根据已知条件有,.八PS+PN10loglO=10PN因此=9PNPN

9.96103即最大信息率为比特秒

9.96103如果功空信嗓比隆为即25dB,lOloglO.，八PS+PN|LLBn c即因此S=10,PNPN—=30,艮1000=Flog E=

2.740。