A. 求信息论基础与应用（沈世镒，吴忠华）高等教育出版社课后练习题答案 下载链接可以，[email protected]
B. 谁有《信息论基础教程》 李亦农 李梅 着习题答案啊
在google 上找
C. 谁有《信息论基础教程（第2版）》的答案(北京邮电大学出版社 李梅 李亦农 编着
csdn上面有
D. 求问信息论题目答案
信息，指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。创建一切宇宙万物的最基本单位是信息。
“信息”一词在英文、法文、德文、西班牙文中均是“information”，俄语中叫做“информация”，乌克兰语里叫做“інформація”，日文中为“情报”，我国台湾称之为“资讯”，我国古代用的是“消息”。作为科学术语最早出现在哈特莱（R.V.Hartley）于1928年撰写的《信息传输》一文中。20世纪40年代，信息的奠基人香农（C.E.Shannon）给出了信息的明确定义，此后许多研究者从各自的研究领域出发，给出了不同的定义。具有代表意义的表述如下：
信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，这一定义被人们看作是经典性定义并加以引用。
控制论创始人维纳（Norbert Wiener）认为“信息是人们在适应外部世界，并使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容和名称”，它也被作为经典性定义加以引用。
经济管理学家认为“信息是提供决策的有效数据”。
别担心，信息虽然是不确定的，但还是有办法将它们进行量化的。人们根据信息的概念，可以归纳出信息是有以下的几个特点的：
1． 消息x发生的概率P(x)越大，信息量越小；反之，发生的概率越小，信息量就越大。可见，信息量（我们用I来表示）和消息发生的概率是相反的关系。
2． 当概率为1时，百分百发生的事，地球人都知道，所以信息量为0。
3． 当一个消息是由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和。
根据这几个特点，如果用数学上对数函数来表示，就正好可以表示信息量和消息发生的概率之间的关系式：I=-loga(P(x))。这样，信息不就可以被量化了吗？既然信息可以被量化，那么总得给它一个单位吧？人的体重是以公斤来计量的，人的身高是以米来计量的，那么信息量该以什么单位来计量呢？通常是以比特（bit）为单位来计量信息量的，这样比较方便，因为一个二进制波形的信息量恰好等于1bit。
有同学又有问题了：这么说我家2Mbit/s的上网速度，就是说每秒可传2Mbit的信息量啦？
这里的比特严格来说不是指信息量，而是指信号。本来是不可以说是几比特的信号的，但由于一个二进制波形（码元）的信息量正好等于1比特，所以在工程应用中，往往就把一个二进制码元称作1比特，信息量单位变成信号单位了。这虽然不严谨，但也不矛盾。我们注意在概念上区分就行了。
有同学还有疑问：假设有一个消息“Волк идёт”，通过信源编码转成了一个100bit的数据包，那么信息量就有100bit。然后把这100bit通过通信网络发送给了很多人，很多人都收到了100bit的信息量。可是有些人觉得“Волк идёт”这个消息很重要，信息量很大；但有些人又觉得无所谓，信息量很少。可是我们知道，这条消息的信息量都是100bit的呀，怎么又不一样了呢？
首先，我们刚刚说过，比特是信息量的单位，但工程上也习惯把它作为信号的单位。这里所说的100bit就是指信号的啦。其次，通信中的基本问题，就是在一点再生另一点的信息，指的是点对点的情况。但即使在点对多点的情况下，由于在实际的通信系统中，消息往往是指发送的某些符号。这些符号到底能携带多少信息量，与这些符号发生的概率有关，而对于任何接收端来说，这些符号发生的概率是一定的，不会说对这个接收机是这个概率，对那个接收机是那个概率。比如有一串数字221234，这串符号由1，2，3，4四个符号组成，假设四个符号出现的概率都是1/4，那么在这串符号中，2出现了3次，所以2所携带的信息量是-3×log2(1/4)=6bit。我们需要明白，通信系统中传送的符号，就相当于我们现在谈论的消息。
希望我能帮助你解疑释惑。
E. 《信息论基础》Thomas M.Cover 第二版 课后习题答案
http://wenku..com/link?url=HH8KJVIX6UnRAv7b6QvsiI7Tb-h8Rb3N_ml_eHZmWo6KL1nAWqnB8ggA-xxHNoZ_JHPTq9qe2vrL-
F. 求 《信息论理论基础》试题,哈工大，贾世楼
信息论理论基础，贾世楼编着，俺们08052专业，邹斌教也，张均萍之夫也，此人风格十分独特，乃大四所独见，明知大四考研找工作的忙，还要点名，上课结束后关于考试内容，只说一
句话：凡事我上过的都考。甚至不说答疑的时间。听后，顿觉浑身发抖，不自主战栗，哈哈哈，开个玩笑！关于，这本书，找不到相关题目，也没有答案，本来此本书应该很简单的，但是老
师不讲考试题型，不讲考试内容，就一下子提高了这门课的难度，且老师威名早已远播，实非我等所能力改也，只能顺应他，来应考。
值此本人考试归来之际，裨益以后同学，特凭记忆把考试内容公布，广而告之，后学勉之！也发现一个现象，大家都怕麻烦，即使同为哈工大学生也大愿意相互帮助，得到一点信息遮遮掩
掩，生怕被人家给偷了去，只叹世风不再，每个人自己努力吧。能凭某句话或某件事在一些人心中洒下一些博爱，同窗的种子，亦心中满足，淡然无求了。
卷面八十分，
第一题，四个简答：
一，离散信源，连续信源的定义，并比较异同
二，剩余的定义，离散信源和连续信源怎么描述剩余的
三，最小码距与检错，纠错能力的关系
四，汉明码，卷积码的异同
第二题，填空
1，通信系统基本要求，两个空
2，二元信源，每秒传1000，熵速率多少
3，按用途分编码，一个纠错码，另一个什么
4，等重码，即码元中1的个数怎么样
第三题，信源发六个信号，各自概率告诉，然后求信源熵和相对熵
第四题，差错率Pe告诉，（7，4）汉明码的错误率和编码效率
第五题，告诉汉明码监督矩阵，（9,5）
1，说明监督元在编码中位置,2，试说明监督元与信息元关系
第六题，循环码，给你接收码值，（7，3）的生成多项式，求检验子，判断错误，并纠正
第七题，告诉带宽3K，及信噪比20DB，
1，求最大传信率 2，若信噪比5DB，求带宽
第八题，告诉X1-X7概率，
1，霍夫曼编码，比较编码前后效率
2，霍夫曼编码是否具有唯一性，为什么
第九题，哈哈哈，就是告诉卷积码监督矩阵，是公式形式，没写具体数值，然后请写出生成矩阵
哦也，同学们，不能让老师的阴谋诡计得逞啊！！！！裨益后学之功岂可诬也？！
G. 贝叶斯网专题1：信息论基础
目录
[toc]
贝叶斯网是一种将概率统计应用于复杂领域，进行不确定性推理和数据分析的工具，其在机器学习和人工智能领域具有重要的基础性地位。从技术层面讲，贝叶斯网可系统地描述随机变量之间关系，构造贝叶斯网的主要目的是进行概率推理。
理论上，进行概率推理只需要一个联合概率分布即可，但联合概率分布的复杂度与随机变量规模呈指数级关系，在解决实际问题时不可行。贝叶斯网为解决该问题提供了方法，通过贝叶斯网可将复杂的联合概率分布分解为一系列规模较小的子模块，从而降低训练和推理的复杂度。
本人将主要依据香港科大张连文教授的《贝叶斯网引论》，对其中重要内容进行精炼，并通过接下来的几篇博客对贝叶斯网展开专题介绍，分三大部分进行：
信息论是基于概率论的一门研究信息传输和处理的数学理论。它不仅是信息技术的基础，也在统计力学、机器学习等领域发挥重要作用。在构建贝叶斯网的过程中，可以用信息论来进行分析。
Jesen不等式源于函数的凹凸性。在数学中，称一个函数为凹函数是指向上凹，凸函数是指向下凸，如下图所示。
证明
用归纳法证明，当 时，式(1)恒等。假设式(1)在 时成立，证明它在 时也成立，即：
命题得证。
Jensen不等式是与函数凹凸性有关的基本性质，在信息论中常会用到，比如用于计算信息熵的对数函数就满足凹函数的Jensen不等式，这在后文证明信息熵的性质时会用到。
一个离散随机变量 的熵 的定义为：
其中，约定 .上式的对数若以2为底，则熵的单位是比特，若以e为底，则单位是奈特，后文将都以比特为单位。
熵在热力学中表示系统的混乱程度，在概率论中表示随机变量的不确定程度，在信息论中表示对信源的期望编码长度。
先来解释下信息论中期望编码长度：假设有一个信源，可产生A、B、C三种不同的信息，产生的概率分别为1/2、1/4和1/4，我们要设计一套编码系统来记录这个信源所产生的信息，所用的比特位数越少越好。显然，我们应该为出现概率大的信息分配码长较短的编码，其长度可通过 来确定，比如我们为A分配码长为1的编码，为B和C分配码长为2的编码，通过霍夫曼编码算法，可将A编码为0，将B和C编码为10和11.此时，该信源的编码平均码长则为
由此我们可知，熵代表了对信源进行最优编码时的期望编码长度。反过来看，如果将这个信源用一个随机变量来表示，若该随机变量的不确定性越高（产生的信息种类越多、各种类出现的概率越平均），则需要用来编码该信源的期望编码长度也会越大，反之则越短。因而，熵又可以表示随机变量的不确定程度。
例如，一个取值为0或1的随机变量 ，计 ，根据熵的定义，有：
随着p的变化， 的变化曲线如下图：
证明：
(1)根据熵的定义， 显然成立。
(2)log为上凹函数，根据Jensen不等式有：
命题得证。
联合熵是基于联合概率分布对熵的推广。两个离散随机变量X和Y的联合熵定义为：
条件熵是基于条件概率分布对熵的推广。随机变量X的熵时用它的概率分布P(X)来定义的。如果知道另一个随机变量Y的取值为y，那么X的条件分布即为P(X|Y=y)。利用此条件分布可定义给定Y=y时X的条件熵：
熵H(X)度量的是随机变量X的不确定性，条件熵H(X|Y=y)度量的则是已知Y=y后，X的不确定性。
上式(3)中，当y变化时，H(X|Y=y)也会发生改变，当知道Y的概率分布后，可以计算X关于Y的条件熵的期望值：
H(X|Y)称为给定Y时X的条件熵。
注意：H(X|Y)和H(X|Y=y)不一样，后者是已知Y取某一特定值时X的条件熵，即已知Y=y后，X剩余的不确定性。而前者时在未知Y的取值时，对观测到Y的取值后X剩余的不确定性的期望值。尤其值得注意的是，H(X|Y=y)可能比H(X)大，即知道Y的某个具体取值后，有可能增大对X的不确定性。而H(X|Y)永远不会比H(X)大，即平均来说，知道Y不会增加X的不确定性。下面给出一个具体的例子加以比较：
设已知联合分布P(X,Y)及其边缘分布P(X)和P(Y)如下表所示：
从而可得出：
可以看到：观测到 后，可使X的熵减小；观测到 后，反而使X的熵增大；但平均而言，对Y的观测使X的熵减小。
由此，我们定义互信息量为：
称为Y关于X的信息，表示Y中包含多少关于X的信息。很容易证明 ，因此又称之为X和Y之间的互信息。
证明：
同理可得：
因此， 得证。
证明：
同理可证
证明：
等式左边：
等式右边：
从而等式成立。
联合熵、条件熵和互信息之间的关系，可用如下文氏图来表示它们之间的关系：
在1.1.2节介绍熵的概念时，介绍了熵的期望编码长度的意义。交叉熵的概念也可以从期望编码长度的意义出发进行理解。
若信源X的理论概率分布为Q(X)，但其实际概率分布为P(X)，则使用理论概率分布构建的霍夫曼编码在实际概率分布下的期望编码长度即为交叉熵，定义为：
相对熵则定义为交叉熵与熵之差，即按照信源的理论概率分布Q设计的最优编码的期望码长会比按照实际概率分布P设计的最优编码的期望码长多几个比特。其定义如下：
其中约定： ； .
KL(P,Q)又称为P(X)和Q(X)之间的Kullback-Leibler距离，或KL散度。但严格来讲，它并不是一个真正意义的距离，因为其不满足对称性。
证明：
信息不等式得证。
利用KL散度可以度量两个概率分布之间的差异。
从1.1.3节给出的联合熵、条件熵与互信息之间关系的文氏图可以看出：对于随机变量X和Y，当互信息I(X,Y)=0时，X和Y相互独立；且 ，等号也在X和Y独立时成立。我们也可以给出严格证明。
证明：
由KL散度大于等于0可得： ，当且仅当P(X,Y)=P(X)P(Y)时等号成立，即X与Y相互独立。
由于 ，所以 ，等号在X与Y相互独立时成立。
从信息论的角度，我们可以看出：两个随机变量相互独立等价于它们之间的互信息为0.
该结论还可以进一步推广到三个随机变量的情况。
对于随机变量X,Y,Z，条件熵H(X|Z)是给定Z时X剩余的不确定性，如果再进一步给定Y，X剩余的不确定性变为H(X|Z,Y)。这两者之差即为给定Z时观测Y的取值会带来的关于X的信息量，即给定Z时X和Y之间的条件互信息，定义如下：
类似上文证明 ，我们也容易证明：
类似上文证明 和 ，我们也容易证明：
其中等号仅在X与Y在给定Z时互相独立的情况下成立，记作 .
从信息论的角度，我们可以看出：给定Z时，两个随机变量X和Y相互条件独立等价于它们的条件互信息为0，即Y关于X的信息已全部包含在Z中，从而观测到Z后，再对Y进行观测不会带来关于X更多的信息。另一方面，如果X和Y在给定Z时相互不独立，则 ，即在已知Z的基础上对Y的进一步观测将会带来关于X的新信息，从而降低X的不确定性。
H. 信息论理论基础第三版课后习题答案贾世楼
I. <<信息论基础>>第二版答案
抱你满意 http://wenku..com/view/3d3a362de2bd960590c677d3.html