《信息论》试题及答案

　期终练习 一、某地区得人群中,1０％就是胖子,80％不胖不瘦,１０％就是瘦子。已知胖子得高血压得概率就是 15％，不胖不瘦者得高血压得概率就是 10％,瘦子得高血压得概率就是 5％，则“该地区得某一位高血压者就是胖子"这句话包含了多少信息量。

　解：设事件 A:某人就是胖子;

　 B：某人就是不胖不瘦

　C:某人就是瘦子

　D：某人就是高血压者 根据题意,可知：Ｐ（Ａ）=０、1

　 P（B)=0、8

　Ｐ（C）=0、1 P(D｜A)=０、15

　P(D｜B)＝0、1

　P(D|Ｃ)=0、05

　 而“该地区得某一位高血压者就是胖子" 这一消息表明在 D 事件发生得条件下,A 事件得发生,故其概率为 P（A｜D) 根据贝叶斯定律，可得：

　P（D）=Ｐ（Ａ）＊ P（Ｄ｜A）＋P（B)＊ P（D|B)＋Ｐ（C）* Ｐ（D｜C)=0、1

　Ｐ(Ａ｜D)＝P（ＡD）/P(D)＝Ｐ(D|Ａ）*Ｐ（A)/ P(D)＝0、15＊０、1/0、1＝０、15

　故得知“该地区得某一位高血压者就是胖子"这一消息获得得多少信息量为：

　I（A｜D）

　= - ｌogP(A｜Ｄ）＝log(0、15)≈2、７3 (biｔ)

　二、设有一个马尔可夫信源,它得状态集为｛Ｓ １ ，Ｓ ２ ，S ３ ｝,符号集为｛a 1 ,a 2 ,a 3 ｝，以及在某状态下发出符号集得概率就是(i,k=１,2，3），如图所示

　（1）求图中马尔可夫信源得状态极限概率并找出符号得极限概率 （2）计算信源处在某一状态下输出符号得条件熵 H（X｜S=j）

　(j=s 1 ，s 2 ，s ３ ）

　(3)求出马尔可夫信源熵 解:（1)该信源达到平稳后，有以下关系成立:

　 可得

　(２）

　（３）31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iiH Q E H X E     (比特/符号）

　三、二元对称信道得传递矩阵为 （1）若 P（0）＝3/4,P（1）=1/４，求Ｈ(X)，H（X｜Ｙ）与 I(X；Ｙ) （２)求该信道得信道容量及其最大信道容量对应得最佳输入分布 解:⑴==０、811（比特/符号）

　=０、7５*0、6+0、２5＊0、4=０、5５ 0、７5＊0、4+0、２5＊0、６=0、45 ０、９９2(比特／符号) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25 (0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /H Y X p x H Y x p x H Y x H H         （比特 符号）

　0、81１+０、971—0、992=0、79 (比特/符号）

　 ＝0、８11—0、７9=０、0２1（比特/符号)

　 (2）此信道为二元对称信道，所以信道容量为

　C=１－Ｈ(p)=1—H（０、６）=１-0、97１=０、029（比特/符号)

　当输入等概分布时达到信道容量 四、求信道得信道容量,其中. 解:这就是一个准对称信道，可把信道矩阵分为：， ，

　故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkC r H p p N MH p pH p p                                比特 符号）

　当输入等概分布时达到信道容量。

　1

　 五、信源 (1）利用霍夫曼码编成二元变长得惟一可译码，并求其 (2）利用费诺码编成二元变长得惟一可译码,并求其 (3）利用香农码编成二元变长得惟一可译码,并求其 （１）香农编码: 信源符号 概率 P(x i ）

　码长 l ｉ

　累积概率 P 码字 x 1

　0、4 2 ０ 0０ x 2

　０、２ 3 0、4 0１1 x 3

　0、2 3 0、6 10０ ｘ 4

　０、1 ４ 0、8 11０0 ｘ ５

　0、05 5 ０、9 11100 ｘ ６

　0、０5 5 0、95 11110 =0、4×2＋０、２×3+0、2×3＋０、1×4＋０、0５×5+0、05×5＝２、9（码元/信源符号）

　η＝H（X)/（

　ｌoｇｒ）=2、222／２、９=０、7662(2)霍夫曼编码：

　=0、4×２+0、2×2×2+0、1×3+0、０５×4×2=2、3(码元/信源符号) η＝H(X）/（

　logr）=０、9964 (3）费诺编码:

　=０、4×2+0、2×２×２+0、1×３+0、０５×4×2＝2、３（码元/信源符号) η=Ｈ（Ｘ)／(

　logr)= 0、9964 六、设有一离散信道，传递矩阵为 设 P(x 1 ）= P(x ２ ）＝1／4，P(x 3 ）=1/2,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并相应得计算机平均错误概率得大小. 解:（1）按最大似然译码准则

　F（y１)＝x1

　 Ｆ（y２）=x2

　F（y3）=x3

　 P（E)=1／2（１/3+1/6）＋1/4×2×(1/3＋1／6)＝1/2 (2) 联合概率矩阵为,则按最小错误概率准

　 F（y１)=x３

　F(y2）=x2

　F(y3）=x3

　 P（E）= 1/8+1/24+2／１２ +1／24＋1/１2=11/2４ 八、一个三元对称信源 接收符号为 V＝｛0,１，2},其失真矩阵为 （１)求Ｄ max 与 D min 及信源得 R（D）函数。

　（2）求出达到得正向试验信道得传递概率 解：(１）

　因为就是三元对称信源，又就是等概分布，所以根据 r 元离散对称信源可得 R(D）＝log3－Dloｇ2－H（D)=log3－D－H（Ｄ）

　 0＜=D＜=2/３

　＝0

　Ｄ>2／3

　 (2)满足 R（D）函数得信道其反向传递概率为

　根据根据贝叶斯定律,可得该信道得正向传递概率为:

　九、设二元码为 C=［11１０0,010０1，1０01０,0011１] (1）求此码得最小距离； （2）采用最小距离译码准则，试问接收序列１0000,０1100 与 0010０应译成什么码字？ (3）此码能纠正几位码元得错误？ 解：(1)码距如左图

　故 d mi ｎ ＝3 (2)码距如右图 故 10000 译为 1０010,0１1０0 译为 11１0０,00１００译为１1100 或 00111

　(3)根据，知此码能纠正一位码元得错误。

推荐访问:信息论 试题 答案