A. 求資訊理論基礎與應用（沈世鎰，吳忠華）高等教育出版社課後練習題答案 下載鏈接可以，[email protected]
B. 誰有《資訊理論基礎教程》 李亦農 李梅 著習題答案啊
在google 上找
C. 誰有《資訊理論基礎教程（第2版）》的答案(北京郵電大學出版社 李梅 李亦農 編著
csdn上面有
D. 求問資訊理論題目答案
信息，指音訊、消息、通訊系統傳輸和處理的對象，泛指人類社會傳播的一切內容。人通過獲得、識別自然界和社會的不同信息來區別不同事物，得以認識和改造世界。在一切通訊和控制系統中，信息是一種普遍聯系的形式。1948年，數學家香農在題為「通訊的數學理論」的論文中指出：「信息是用來消除隨機不定性的東西」。創建一切宇宙萬物的最基本單位是信息。
「信息」一詞在英文、法文、德文、西班牙文中均是「information」，俄語中叫做「информация」，烏克蘭語里叫做「інформація」，日文中為「情報」，我國台灣稱之為「資訊」，我國古代用的是「消息」。作為科學術語最早出現在哈特萊（R.V.Hartley）於1928年撰寫的《信息傳輸》一文中。20世紀40年代，信息的奠基人香農（C.E.Shannon）給出了信息的明確定義，此後許多研究者從各自的研究領域出發，給出了不同的定義。具有代表意義的表述如下：
信息奠基人香農（Shannon）認為「信息是用來消除隨機不確定性的東西」，這一定義被人們看作是經典性定義並加以引用。
控制論創始人維納（Norbert Wiener）認為「信息是人們在適應外部世界，並使這種適應反作用於外部世界的過程中，同外部世界進行互相交換的內容和名稱」，它也被作為經典性定義加以引用。
經濟管理學家認為「信息是提供決策的有效數據」。
別擔心，信息雖然是不確定的，但還是有辦法將它們進行量化的。人們根據信息的概念，可以歸納出信息是有以下的幾個特點的：
1． 消息x發生的概率P(x)越大，信息量越小；反之，發生的概率越小，信息量就越大。可見，信息量（我們用I來表示）和消息發生的概率是相反的關系。
2． 當概率為1時，百分百發生的事，地球人都知道，所以信息量為0。
3． 當一個消息是由多個獨立的小消息組成時，那麼這個消息所含信息量應等於各小消息所含信息量的和。
根據這幾個特點，如果用數學上對數函數來表示，就正好可以表示信息量和消息發生的概率之間的關系式：I=-loga(P(x))。這樣，信息不就可以被量化了嗎？既然信息可以被量化，那麼總得給它一個單位吧？人的體重是以公斤來計量的，人的身高是以米來計量的，那麼信息量該以什麼單位來計量呢？通常是以比特（bit）為單位來計量信息量的，這樣比較方便，因為一個二進制波形的信息量恰好等於1bit。
有同學又有問題了：這么說我家2Mbit/s的上網速度，就是說每秒可傳2Mbit的信息量啦？
這里的比特嚴格來說不是指信息量，而是指信號。本來是不可以說是幾比特的信號的，但由於一個二進制波形（碼元）的信息量正好等於1比特，所以在工程應用中，往往就把一個二進制碼元稱作1比特，信息量單位變成信號單位了。這雖然不嚴謹，但也不矛盾。我們注意在概念上區分就行了。
有同學還有疑問：假設有一個消息「Волк идёт」，通過信源編碼轉成了一個100bit的數據包，那麼信息量就有100bit。然後把這100bit通過通信網路發送給了很多人，很多人都收到了100bit的信息量。可是有些人覺得「Волк идёт」這個消息很重要，信息量很大；但有些人又覺得無所謂，信息量很少。可是我們知道，這條消息的信息量都是100bit的呀，怎麼又不一樣了呢？
首先，我們剛剛說過，比特是信息量的單位，但工程上也習慣把它作為信號的單位。這里所說的100bit就是指信號的啦。其次，通信中的基本問題，就是在一點再生另一點的信息，指的是點對點的情況。但即使在點對多點的情況下，由於在實際的通信系統中，消息往往是指發送的某些符號。這些符號到底能攜帶多少信息量，與這些符號發生的概率有關，而對於任何接收端來說，這些符號發生的概率是一定的，不會說對這個接收機是這個概率，對那個接收機是那個概率。比如有一串數字221234，這串符號由1，2，3，4四個符號組成，假設四個符號出現的概率都是1/4，那麼在這串符號中，2出現了3次，所以2所攜帶的信息量是-3×log2(1/4)=6bit。我們需要明白，通信系統中傳送的符號，就相當於我們現在談論的消息。
希望我能幫助你解疑釋惑。
E. 《資訊理論基礎》Thomas M.Cover 第二版 課後習題答案
http://wenku..com/link?url=HH8KJVIX6UnRAv7b6QvsiI7Tb-h8Rb3N_ml_eHZmWo6KL1nAWqnB8ggA-xxHNoZ_JHPTq9qe2vrL-
F. 求 《資訊理論理論基礎》試題,哈工大，賈世樓
資訊理論理論基礎，賈世樓編著，俺們08052專業，鄒斌教也，張均萍之夫也，此人風格十分獨特，乃大四所獨見，明知大四考研找工作的忙，還要點名，上課結束後關於考試內容，只說一
句話：凡事我上過的都考。甚至不說答疑的時間。聽後，頓覺渾身發抖，不自主戰栗，哈哈哈，開個玩笑！關於，這本書，找不到相關題目，也沒有答案，本來此本書應該很簡單的，但是老
師不講考試題型，不講考試內容，就一下子提高了這門課的難度，且老師威名早已遠播，實非我等所能力改也，只能順應他，來應考。
值此本人考試歸來之際，裨益以後同學，特憑記憶把考試內容公布，廣而告之，後學勉之！也發現一個現象，大家都怕麻煩，即使同為哈工大學生也大願意相互幫助，得到一點信息遮遮掩
掩，生怕被人家給偷了去，只嘆世風不再，每個人自己努力吧。能憑某句話或某件事在一些人心中灑下一些博愛，同窗的種子，亦心中滿足，淡然無求了。
卷面八十分，
第一題，四個簡答：
一，離散信源，連續信源的定義，並比較異同
二，剩餘的定義，離散信源和連續信源怎麼描述剩餘的
三，最小碼距與檢錯，糾錯能力的關系
四，漢明碼，卷積碼的異同
第二題，填空
1，通信系統基本要求，兩個空
2，二元信源，每秒傳1000，熵速率多少
3，按用途分編碼，一個糾錯碼，另一個什麼
4，等重碼，即碼元中1的個數怎麼樣
第三題，信源發六個信號，各自概率告訴，然後求信源熵和相對熵
第四題，差錯率Pe告訴，（7，4）漢明碼的錯誤率和編碼效率
第五題，告訴漢明碼監督矩陣，（9,5）
1，說明監督元在編碼中位置,2，試說明監督元與信息元關系
第六題，循環碼，給你接收碼值，（7，3）的生成多項式，求檢驗子，判斷錯誤，並糾正
第七題，告訴帶寬3K，及信噪比20DB，
1，求最大傳信率 2，若信噪比5DB，求帶寬
第八題，告訴X1-X7概率，
1，霍夫曼編碼，比較編碼前後效率
2，霍夫曼編碼是否具有唯一性，為什麼
第九題，哈哈哈，就是告訴卷積碼監督矩陣，是公式形式，沒寫具體數值，然後請寫出生成矩陣
哦也，同學們，不能讓老師的陰謀詭計得逞啊！！！！裨益後學之功豈可誣也？！
G. 貝葉斯網專題1：資訊理論基礎
目錄
[toc]
貝葉斯網是一種將概率統計應用於復雜領域，進行不確定性推理和數據分析的工具，其在機器學習和人工智慧領域具有重要的基礎性地位。從技術層面講，貝葉斯網可系統地描述隨機變數之間關系，構造貝葉斯網的主要目的是進行概率推理。
理論上，進行概率推理只需要一個聯合概率分布即可，但聯合概率分布的復雜度與隨機變數規模呈指數級關系，在解決實際問題時不可行。貝葉斯網為解決該問題提供了方法，通過貝葉斯網可將復雜的聯合概率分布分解為一系列規模較小的子模塊，從而降低訓練和推理的復雜度。
本人將主要依據香港科大張連文教授的《貝葉斯網引論》，對其中重要內容進行精煉，並通過接下來的幾篇博客對貝葉斯網展開專題介紹，分三大部分進行：
資訊理論是基於概率論的一門研究信息傳輸和處理的數學理論。它不僅是信息技術的基礎，也在統計力學、機器學習等領域發揮重要作用。在構建貝葉斯網的過程中，可以用資訊理論來進行分析。
Jesen不等式源於函數的凹凸性。在數學中，稱一個函數為凹函數是指向上凹，凸函數是指向下凸，如下圖所示。
證明
用歸納法證明，當 時，式(1)恆等。假設式(1)在 時成立，證明它在 時也成立，即：
命題得證。
Jensen不等式是與函數凹凸性有關的基本性質，在資訊理論中常會用到，比如用於計算信息熵的對數函數就滿足凹函數的Jensen不等式，這在後文證明信息熵的性質時會用到。
一個離散隨機變數 的熵 的定義為：
其中，約定 .上式的對數若以2為底，則熵的單位是比特，若以e為底，則單位是奈特，後文將都以比特為單位。
熵在熱力學中表示系統的混亂程度，在概率論中表示隨機變數的不確定程度，在資訊理論中表示對信源的期望編碼長度。
先來解釋下資訊理論中期望編碼長度：假設有一個信源，可產生A、B、C三種不同的信息，產生的概率分別為1/2、1/4和1/4，我們要設計一套編碼系統來記錄這個信源所產生的信息，所用的比特位數越少越好。顯然，我們應該為出現概率大的信息分配碼長較短的編碼，其長度可通過 來確定，比如我們為A分配碼長為1的編碼，為B和C分配碼長為2的編碼，通過霍夫曼編碼演算法，可將A編碼為0，將B和C編碼為10和11.此時，該信源的編碼平均碼長則為
由此我們可知，熵代表了對信源進行最優編碼時的期望編碼長度。反過來看，如果將這個信源用一個隨機變數來表示，若該隨機變數的不確定性越高（產生的信息種類越多、各種類出現的概率越平均），則需要用來編碼該信源的期望編碼長度也會越大，反之則越短。因而，熵又可以表示隨機變數的不確定程度。
例如，一個取值為0或1的隨機變數 ，計 ，根據熵的定義，有：
隨著p的變化， 的變化曲線如下圖：
證明：
(1)根據熵的定義， 顯然成立。
(2)log為上凹函數，根據Jensen不等式有：
命題得證。
聯合熵是基於聯合概率分布對熵的推廣。兩個離散隨機變數X和Y的聯合熵定義為：
條件熵是基於條件概率分布對熵的推廣。隨機變數X的熵時用它的概率分布P(X)來定義的。如果知道另一個隨機變數Y的取值為y，那麼X的條件分布即為P(X|Y=y)。利用此條件分布可定義給定Y=y時X的條件熵：
熵H(X)度量的是隨機變數X的不確定性，條件熵H(X|Y=y)度量的則是已知Y=y後，X的不確定性。
上式(3)中，當y變化時，H(X|Y=y)也會發生改變，當知道Y的概率分布後，可以計算X關於Y的條件熵的期望值：
H(X|Y)稱為給定Y時X的條件熵。
注意：H(X|Y)和H(X|Y=y)不一樣，後者是已知Y取某一特定值時X的條件熵，即已知Y=y後，X剩餘的不確定性。而前者時在未知Y的取值時，對觀測到Y的取值後X剩餘的不確定性的期望值。尤其值得注意的是，H(X|Y=y)可能比H(X)大，即知道Y的某個具體取值後，有可能增大對X的不確定性。而H(X|Y)永遠不會比H(X)大，即平均來說，知道Y不會增加X的不確定性。下面給出一個具體的例子加以比較：
設已知聯合分布P(X,Y)及其邊緣分布P(X)和P(Y)如下表所示：
從而可得出：
可以看到：觀測到 後，可使X的熵減小；觀測到 後，反而使X的熵增大；但平均而言，對Y的觀測使X的熵減小。
由此，我們定義互信息量為：
稱為Y關於X的信息，表示Y中包含多少關於X的信息。很容易證明 ，因此又稱之為X和Y之間的互信息。
證明：
同理可得：
因此， 得證。
證明：
同理可證
證明：
等式左邊：
等式右邊：
從而等式成立。
聯合熵、條件熵和互信息之間的關系，可用如下文氏圖來表示它們之間的關系：
在1.1.2節介紹熵的概念時，介紹了熵的期望編碼長度的意義。交叉熵的概念也可以從期望編碼長度的意義出發進行理解。
若信源X的理論概率分布為Q(X)，但其實際概率分布為P(X)，則使用理論概率分布構建的霍夫曼編碼在實際概率分布下的期望編碼長度即為交叉熵，定義為：
相對熵則定義為交叉熵與熵之差，即按照信源的理論概率分布Q設計的最優編碼的期望碼長會比按照實際概率分布P設計的最優編碼的期望碼長多幾個比特。其定義如下：
其中約定： ； .
KL(P,Q)又稱為P(X)和Q(X)之間的Kullback-Leibler距離，或KL散度。但嚴格來講，它並不是一個真正意義的距離，因為其不滿足對稱性。
證明：
信息不等式得證。
利用KL散度可以度量兩個概率分布之間的差異。
從1.1.3節給出的聯合熵、條件熵與互信息之間關系的文氏圖可以看出：對於隨機變數X和Y，當互信息I(X,Y)=0時，X和Y相互獨立；且 ，等號也在X和Y獨立時成立。我們也可以給出嚴格證明。
證明：
由KL散度大於等於0可得： ，當且僅當P(X,Y)=P(X)P(Y)時等號成立，即X與Y相互獨立。
由於 ，所以 ，等號在X與Y相互獨立時成立。
從資訊理論的角度，我們可以看出：兩個隨機變數相互獨立等價於它們之間的互信息為0.
該結論還可以進一步推廣到三個隨機變數的情況。
對於隨機變數X,Y,Z，條件熵H(X|Z)是給定Z時X剩餘的不確定性，如果再進一步給定Y，X剩餘的不確定性變為H(X|Z,Y)。這兩者之差即為給定Z時觀測Y的取值會帶來的關於X的信息量，即給定Z時X和Y之間的條件互信息，定義如下：
類似上文證明 ，我們也容易證明：
類似上文證明 和 ，我們也容易證明：
其中等號僅在X與Y在給定Z時互相獨立的情況下成立，記作 .
從資訊理論的角度，我們可以看出：給定Z時，兩個隨機變數X和Y相互條件獨立等價於它們的條件互信息為0，即Y關於X的信息已全部包含在Z中，從而觀測到Z後，再對Y進行觀測不會帶來關於X更多的信息。另一方面，如果X和Y在給定Z時相互不獨立，則 ，即在已知Z的基礎上對Y的進一步觀測將會帶來關於X的新信息，從而降低X的不確定性。
H. 資訊理論理論基礎第三版課後習題答案賈世樓
I. <<資訊理論基礎>>第二版答案
抱你滿意 http://wenku..com/view/3d3a362de2bd960590c677d3.html