还剩10页未读，继续阅读
本资源只提供10页预览，全部文档请下载后查看！喜欢就下载吧，查找使用更方便
文本内容:
笈幻=-£»Xilogp、平均自信息为1/%y=-yy^x^iog平均互信息表达信源的平均不确定度，也表达平均每个信源消息所提供的信息量表达从获得的有关每个的平均信息量，也表达发前后的平均不确定性减少的量，Y X X Y还表达通信前后整个系统不确定性减少的量、最大离散嫡定理为离散无记忆信源，等概率分布时嫡最大
2、最大熠值为心防3mx=1通信系统模型如下4-------------C-----------------------FT-------------------Y--------------------------T------------------------4信源.u编码.信道.一译码.」信宿.►♦C=lim—=J^log1+t
2、香农公式为K5采用
（1）用频带换信噪比；
（2）用信噪比换频带HX、只要L沼附，当足够长时，一定存在一种无失真编码612N、当时，只要码长足够长，一定能找到一种编码措施和译码规则，使译码错误概7RC率无穷小、在认识论层次上研究信息的时候，必须同步考虑到形式、含义和效用三个方面的原8因、年，美国数学家香农刊登了题为“通信的数学理论”的长篇论文，从而创立了91948信息论按照信息的性质，可以把信息提成语法信息、语义信息和语用信息按照信息的地位，可以把信息提成客观信息和主观信息人们研究信息论的目的是为了高效、可靠、安全地互换和运用多种各样的信息信息的可度量性是建立信息论的基础记录度量是信息度量最常用的措施焙是香农信息论最基本最重要的概念事物的不确定度是用时间记录发生概率的对数来描述的、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述
10、一种随机事件发生某一成果后所带来的信息量称为自信息量，定义为其发11Z017/81/8HZ=7/81og8/7+l/81og822XZ000110111/203/81/8HXZ=l/21og2+3/81og8/3+l/81og8222KZ000110111/203/81/8ZfyZ=l/21og2+3/81og8/3+l/81og82222HX|y=l/2l/41og4+3/41og4/3+l/2l/41og4+3/41og4/32222HK|X=l/2l/41og4+3/41og4/3+l/2l/41og4+3/41og4/3222201X\z1/1/00223/1/1/18827/81/8/7X|Z=7/84/71og7/4+3/71og7/3+l/801og0+llog l2222HZ|X=l/2llog l+01og0+l/23/41og4/3+l/41og42222Y\Z011/1/00223/1/1/21887/1/88Hy|Z=7/84/71og7/4+3/71og7/3+l/801og0+llog l2222HZ|y=l/2llog l+01og0+l/23/41og4/3+l/41og42222|yZ=l/2l/41og4+3/41og4/3+3/8llog l+01og0+l/8llog l+01og0222222//y|XZ=l/2l/41og4+3/41og4/3+3/8llog l+01og04-l/8llog l+01og0222222HZ\XY=O3ZX；y=HX-HX|Y/X;Z=HX-HX|Z/y；Z=HY-HY IZ/X;y IZ=HX IZ-HX I YZzx；z|y=H XY-H Xzy设二元对称信道的输入概率分布分别为转移矩阵为
[4]=[3/41/4],2/31/31/32/3求信道的输入焙，输出燧，平均互信息量；求信道容量和最佳输入分布；求信道剩余度解1信道的输入嫡HX=3/41og24/3+l/4bg24；「1/21/41[P]=XYXY11/121/6[7^]=[7/125/12]//7=7/12log12/7+5/12log12/522HW X=3/4Hl/2,l/4+l/4Hl/12,l/6IX;Y=HY-HY\X最佳输入分布为此时信道的容量为2[PJ=[l/21/2],=1-2/3,1/3⑶信道的剩余度c-z（x；r）1/21/31/6设有其转移矩阵为卜DMC,x]=1/61/21/3若信道输入概率为1/31/61/2试确定最佳译码规则和极大似然译码规则，并计算出[P]=[
0.
50.
250.25],x1/41/61/12-b
（4）=Qi«解1/12最佳译码规则:尸口）=%平均差错率为1/241/81/121/241/8（）F Z=3对应的平均差错率1-1/4-1/6-1/8=11/24；=a{极大似然规则/%=%，平均差错率为二1-1/4-1/8-1/81/2/电二3生概率对数的负值、自信息量的单位一般有比特、奈特和哈特
12、必然事件的自信息是
130、不也许事件的自信息量是
814、两个互相独立的随机变量的联合自信息量等于两个自信息量之和
15、数据处理定理当消息通过多级处理后，伴随处理器数目的增多，输入消息与输出16消息之间的平均互信息量趋于变小、离散平稳无记忆信源的次扩展信源的牖等于离散信源的牖的倍17X NX N、离散平稳有记忆信源的极限增，-
182、对于元阶马尔可夫信源，其状态空间共有个不一样的状态19n mnm、一维持续随即变量在［］区间内均匀分布时，其信源燧为20X a,b log2b-ao—log2/ceP
9、平均功率为的高斯分布的持续信源，其信源烯，21P HeX=
2、对于限峰值功率的维持续信源，当概率密度均匀分布时持续信源端具有最大值22N、对于限平均功率的一维持续信源，当概率密度高斯分布时，信源焙有最大值
23、对于均值为平均功率受限的持续信源，信源的冗余度决定于平均功率240,的限定值和信源的端功率》之比P、若一离散无记忆信源的信源焙等于对信源进行等长的无失真25H X
2.5,二进制编码，则编码长度至少为3o、元长度为的异前置码存在的充要条件是26m ki,i=l,2,•••n〃产f1/=，O、若把掷骰子的成果作为一离散信源，则其信源端为27log26o、同步掷两个正常的骰子，各面展现的概率都为则和同步出现”281/6,“35这件事的自信息量是log2181+2log23o、若一维随即变量的取值区间是［］其概率密度函数为29X0,8,1--px=—e mm,其中是的数学期望，则的信源燧m XXH X=log meC
2、一副充足洗乱的扑克牌张，从中任意抽取张，然后放回，若把这一过程看作30521离散无记忆信源，则其信源燧为l°g
252、根据输入输出信号的特点，可将信道提成离散信道、持续信道、半离散或半持续信31道、信道的输出仅与信道目前输入有关，而与过去输入无关的信道称为无记忆信道
32、具有一一对应关系的无噪信道的信道容量33C=log2no、强对称信道的信道容量34C=Iog2n-Hnio、对称信道的信道容量二35C Iog2m-Hmi、对于离散无记忆信道和信源的次扩展，其信道容量二36N CN NCoN、对于个对立并联信道，其信道容量37N CN=Io、多顾客信道的信道容量用多维空间的一种区域的界线来表达
38、多顾客信道可以提成几种最基本的类型多址接入信道、广播信道和有关信源信道
39、广播信道是只有一种输入端和多种输出端的信道
40、当信道的噪声对输入的干扰作用体现为噪声和输入的线性叠加时，此信道称为加性41持续信道11“Px-log l+
2、高斯加性信道的信道容量、信道编码定理是一种理想编码的存在性定理，即42C=243信道无失真传递信息的条件是信息率不不小于信道容量-1/21/20一
44、信道矩阵1°01」代表的信道的信道容量C=1o10一一
10、信道矩阵」代表的信道的信道容量451°1C=1o、高斯加性噪声信道中，信道带宽信噪比为则该信道的最大信息463kHz,7,传播速率Ct=9kHzo、对于具有归并性能的无燥信道，到达信道容量的条件是47p yj=l/mo1o-
一、信道矩阵」代表的信道，若每分钟可以传递个符号，则该信道481°16*105的最大信息传播速率Ct=10kHzo、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础
49、求解率失真函数的问题，即在给定失真度的状况下，求信息率的极小值
50、信源的消息通过信道传播后的误差或失真越大，信宿收到消息后对信源存在的不确51定性就越大，获得的信息量就越小、信源的消息通过信道传播后的误差或失真越大道传播消息所需的信息率也越小
52、单符号的失真度或失真函数表达信源发出一种符号信宿53d xi,yj xi,再现所引起的误差或失真yj0i=j
54、汉明失真函数d xi,yj J1⑺o、平方误差失真函数55d xi,yj=yj-xi
2、平均失真度定义为失真函数的数学期望，即在和的联合概率空间56d xi,yj XY PXY中的记录平均值、假如信源和失真度一定，则平均失真度是信道记录特性的函数
57、假如规定平均失真度力不能超过某一限定的值即我们把58D,DDO方工称为保真度准则、离散无记忆次扩展信源通过离散无记忆次扩展信道的平均失真度是单符号信源59N N通过单符号信道的平均失真度的倍N
60、试验信道的集合用PD来表达，则PD=｛p X/X,=12・・・,,/=12…,“
61、信息率失真函数，简称为率失真函数，即试验信道中的平均互信息量的最小值、平均失真度的下限取的条件是失真矩阵的每一行至少有一种零元素
62063、平均失真度的上限Dmax取｛Dj产1,2,•••,m｝中的最小值、率失真函数对容许的平均失真度是单调递减和持续的
64、对于离散无记忆信源的率失真函数的最大值是65log2no
66、当失真度不小于平均失真度的上限时Dmax时、率失真函数R D=0oInf、持续信源的率失真函数，/%£舔、当Wb时，高斯信源在均方差失67X RD=68真度下的信息率失真函数为口=a2L-1/aI°、某X Jo70其失真矩阵°」，则该信源的1/2J Dmax［X_I二元信源P a/2t1/2o
二、某-X If071II ro二元信源［1/2其失真矩阵mJ a°」,则该信源的Dmin、保真度准则下的信源编码定理的条件是信源的信息率不小于率失真函数69R RDoX_J0110a=L
72、某二元信源Ex」11/21何其失真矩阵D°J,则该信源的RD=1-H D/ao、按照不一样的编码目的，编码可以分为三类分别是信源编码、信道编码和安全编73码、信源编码的目的是提高通信的有效性
74、一般状况下，信源编码可以分为离散信源编码、持续信源编码和有关信源编码
75、持续信源或模拟信号的信源编码的理论基础是限失真信源编码定理
76、在香农编码中，第个码字的长度和之间有77i kipxi Xx Xx X-J2456进行二进关系1/41/81/81/161/161/161/16J-log pxk l-log px2i i2z1o、对信源」［78l_PX1/4制费诺编码，其编码效率为、对具有个消息的单符号离散无记忆信源进行进制哈夫曼编码时，为使7984平均码长最短，应增长个概率为的消息
20、对于香农编码、费诺编码和哈夫曼编码，编码措施惟一的是香农编码
80、对于二元序列，其对应的游程序列是
8123652457、设无记忆二元序列中,和“设的概率分别是和贝游程82“0”0pl,IJ“0”P长度的概率为L
0、游程序列的炳等于原二元序列的焙
83、若游程的哈夫吗编码效率为游程的哈夫吗编码效率为且对应的84“0”no,“1”n1,nOni二元序列的编码效率为则三者的关系是n,nOnn1O、在实际的游程编码过程中，对长码一般采用截断处理的措施
85、游程和游程可以分别进行哈夫曼编码，两个码表中的码字可以反复，但码必86“0”“1”C须不一样、在多符号的消息序列中，大量的反复出现的，只起占时作用的符号称为冗余位
87、“冗余变换”即将一种冗余序列转换成一种二元序列和一种缩短了的多元序列
88、编码是一种分帧传送冗余位序列的措施89LH、编码适合于冗余位较多或较少的状况90L-D、信道编码的最终目的是提高信号传播的可靠性
91、狭义的信道编码即检、纠错编码
92、信道即无记忆二进制对称信道93BSC位反复码的编码效率是94n1/n、等重码可以检查所有的奇数位错和部分的偶数位错
95、任意两个码字之间的最小汉明距离有称为码的最小距则96dmin,min dc,cdmin=*dmin T则可以纠正任意不不小于等于、若纠错码的最小距离为dmin,t=L297个差错
98、若检错码的最小距离为dmin,则可以检测出任意不不小于等于1=dmin-1个差错分组特性和线性特性的纠错码、线性分组码是同步具有
99、循环码即是采用循环移位特性界定的一类线性分组码100
三、判断（每题1分）（50道）必然事件和不也许事件的自信息量都是错0自信息量是（%，）的单调递减函数对单符号离散信源的自信息和信源焙都具有非负性对单符号离散信源的自信息和信源燧都是一种确定值错单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的对自信息量、条件自信息量和联合自信息量之间有如下关系/（七力）=/
（七）+/（力/七）=/（力）+/（七/力）对自信息量、条件自信息量和互信息量之间有如下关系/（七；为）=/
（七）一/（七/无）=/（力）一/（力/七）对当随即变量和互相独立时，条件燧等于信源焙对X IY当随即变量X和Y互相独立时，I（X；Y）=H（X）o错、信源熠具有严格的下凸性错1011平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性对、阶马尔可夫信源和消息长度为的有记忆信源，其所含符号的依赖关系相似错12m m、运用状态极限概率和状态一步转移概率来求阶马尔可夫信源的极限熠13m对、维记录独立均匀分布持续信源的燧是维区域体积的对数对14NN、一维高斯分布的持续信源，其信源端只与其均值和方差有关错
15、持续信源和离散信源的熠都具有非负性错
16、持续信源和离散信源都具有可加性对
17、持续信源和离散信源的平均互信息都具有非负性对
18、定长编码的效率一般不不小于不定长编码的效率对
19、若对一离散信源（燧为（））进行二进制无失真编码，设定长码子长度20H XK为K,变长码子平均长度为K,一般K错
21、信道容量C是I（X；Y）有关p（xi）的条件极大值对、离散无噪信道的信道容量等于其中是信源的消息个数错22log2n,n X、对于准对称信道，当一稿时，可到达信道容量错23C、多顾客信道的信道容量不能用一种数来代表对
24、多顾客信道的信道容量不能用一种数来代表，但信道的信息率可以用一种数来表达25错、高斯加性信道的信道容量只与信道的信噪有关对
26、信道无失真传递信息的条件是信息率不不小于信道容量对
27、最大信息传播速率，即选择某一信源的概率分布使信道所能传送的信息率28p xi,的最大值错、对于具有归并性能的无燥信道，当信源等概率分布时到达信道容量错29p xi=l/n,、求解率失真函数的问题，即在给定失真度的状况下，求信息率的极小值对
30、信源的消息通过信道传播后的误差或失真越大，信宿收到消息后对信源存在的不确31定性就越小，获得的信息量就越小错、当、和给定后，平均失真度是一种随即变量错32p xip yj/xi dxi,yj、率失真函数对容许的平均失真度具有上凸性对
33、率失真函数没有最大值错
34、率失真函数的最小值是对
350、率失真函数的值与信源的输入概率无关错
36、信源编码是提高通信有效性为目的的编码对
37、信源编码一般是通过压缩信源的冗余度来实现的对
38、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理错
39、一般状况下，哈夫曼编码的效率不小于香农编码和费诺编码对
40、在编进制的哈夫曼码时，要考虑与否需要增长概率为的码字，以使平均41m m20码长最短对、游程序列的牖游程序列的燧与游程序列的燧的和不小于等于原二元序列的42“0”“1”崎错、在游程编码过程中，游程和游程应分别编码，因此，它们的码字不能反复43“0”“1”错、编码适合于冗余位较多和较少的状况，否则，不仅不能压缩码率，反而使其扩44L-D张对、狭义的信道编码既是指信道的检、纠错编码对
45、对于信道，信道编码应当是一对一的编码，因此，消息的长度等于码字的46BSC mc长度错、等重码和奇偶校验码都可以检出所有的奇数位错对
47、汉明码是一种线性分组码对
48、循环码也是一种线性分组码对
49、卷积码是一种特殊的线性分组码错50设的取值受限于有限区间则服从均匀分布时，其皤到达
1.X[a,b],X最大；如的均值为〃，方差受限为则服从高斯分布时，其牖到达最X2,X大.信息论不等式对于任意实数有〈当且仅当时等式成立2z0,lnz z-1,z=l.设信源为则信源的焙为比特/符号，如信3X={0,1},P0=1/8,l/81og8+7/81og7/822源发出由个和个构成的序列，序列的自信息量为根m“0”100-m“1”log28+100比特/符号—mlog27/8离散对称信道输入等概率时，输出为等概分布
4.根据码字所含的码元的个数，编码可分为定长编码和变长编码
5.设为门=],用二元符号表
6.DMS2%465P\L
0.
370.
250.
180.
100.
070.03_LJX={x=0,々对其进行定长编码，若所编的码为{000，001,010,011,则编码器输出码元的一维概率100,101},PM=
0.747,P%2=
0.253o
二、简答题分30设信源为再超试求信源的燧、信息含量效率以及冗余11P\11/43/4_x度.求二次扩展信源的概率空间和牖解1HX=l/41og4+3/41og4/32277=HX/log2=77X27=1—〃=1—”X二次扩展信源的概率空间为:2x2x\x阳1/13/1663/19/166HXX=1/16log16+3/161og16/3+3/161og16/3+9/16log16/92222什么是损失燧、噪声焙？什么是无损信道和确定信道？如输入输出为则“s,它们的分别信道容量为多少？答将HX|Y称为信道｛X,当x，y｝的疑义度或损失燧，损失燧为零的信道就是无损信道，信道容量为logr将称为信道｛当｝的噪声熠，噪声焙为零的信道就是确定信道，H Y|XX,x1信道容量为logSo信源编码的和信道编码的目的是什么？答信源编码的作用符号变换使信源的输出符号与信道的输入符号相匹配；1冗余度压缩是编码之后的新信源概率均匀化，信息含量效率等于或靠近于2100%o信道编码的作用减少平均差错率什么是限失真信源编码？答有失真信源编码的中心任务在容许的失真范围内把编码的信息率压缩到最小
三、综合题20+15+15设随机变量=｛项，｝｛｝和丫=｛必，%｝=｛｝的联合概率空间为X1=0,104XYl[x^y再,当%，%%2，%_P]\_1/83/83/81/8_{XY定义一种新的随机变量一般乘积z=x xy计算熠H X,H Y,H Z,II XZ,H YZ,以及H XYZ；计算条件牖H X|Y,H Y|X,H X|Z,H Z|X,H Y|Z,HZ|Y,H X|YZ,H Y|XZ以及H Z|XY；计算平均互信息量I X；Y,I XZ,I YZ,I X；Y|Z,IY；Z|X以及I X,Z|Y o解⑴X\Y011/3/1/08823/1/1/18821/1/22HX=l/21og2+l/21og2=l22Hy=l/21og2+l/21og2=l22XYZ000001010011100101no1111/803/803/8001/8。
个人认证
优秀文档
获得点赞 0
