資訊理論的信息率是什麼

A. 什麼是資訊理論 資訊理論的解釋

1、資訊理論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。

2、信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。資訊理論是關於信息的理論，應有自己明確的研究對象和適用范圍。但從資訊理論誕生的那時起人們就對它有不同的理解。

B. 資訊理論的兩個定律和一個原理

今天塵旁來說說資訊理論，資訊理論的創始人是香農，這老兄是一個全才性的科學家，他很年輕的時候啊，就提出了用布爾代數設計數字電路的原理，這成為了後來計算機和其他數字電路設計的基礎。布爾代數也是非常有趣，它集合了邏輯學和數學，以後再詳細談一談。

香濃在二戰期間研究火炮的控制和密碼學，在這過程中他發現了後來成為資訊理論的基本概念和框架體系。

香濃的資訊理論，概括起來，主要是模兄前兩個定律和一個原理。

香農第一定律叫做信源編碼定律，意思是可以將信號源內的符號，也就是信息，變成任何通訊的編碼，當這種編碼盡量的服從等概率分布時，每個編碼所攜帶的信息量達到最大，進而能提高整個旦清通訊系統的效率。簡單的說就是把有限的資源做合理的安排，把最好的資源放在最需要的地方，也就是把錢用在刀刃上。這個第一定律後來影響了矽谷風險投資從而形成「廣撒網，繼而對好項目追加雙倍投入」的投資理念。

香農第二定律是描述了一個信道中的極限信息傳輸率和該信道能力，也就是帶寬的關系。通俗點講，這個定律的意思就是說如果要傳遞更多的信息，就要有更高的帶寬，我們的上網也就從原來的電話，到ADSL ，後來到了光纖，我們的移動通訊也是從2G到3G再到4G，現在在研發5G，也就是在不斷拓寬頻寬。拓展帶寬的目的就是為了提高傳輸效率提高信息傳輸量。現在來看，這好像是個非常淺顯的道理，但在香農提出第二定律之前，沒人能夠意識到這一點。這個定律也影響了組織管理學，層級式管理和網路狀管理，在溝通效率，也就是信息傳遞效率上，哪個帶寬更高呢？

香農的最大熵原理，意思是說對未知事件發生的概率分布進行預測時，我們的預測應當滿足全部已知的條件，而對未知的情況不要做任何主觀假設。這個原理在大數據時代到來之後，對現實的各種分析推算，都非常有指導意義。比如在希拉里和特朗普進美國總統競選的時候，一些民調，在設計提問時或多或少會加入主觀的假設，從而被訪者也有意無意的被引導而扭曲了真實意圖。但是，廣大的百姓在日常的通訊和交流中，在互聯網搜索、留言、玩笑、牢騷中才會不受他人影響，沒有壓力，從而真正表達出他們的真實所想。

C. 信息冗餘的定量定義

信源的信息率的普遍形式為
根據前面的消息可以得到當前消息的期望的或者平均條件熵。在資訊理論中經常提及「信息率」或者「信息熵」，當信源是普通的英文文本時這是正確的。由於無記憶信源的消息之間沒有相互依賴性，所以無記憶信源的信息率為H(M)。
信源的絕對信息率為
R=log I M I，
即是消息空間基數的對數值。這個公式也稱作Hartley函數。這是傳送用這個字母表表示的信息的最大信息率。其中對數要根據所用的測量單位選擇合適的底數。當且僅當信源是無記憶的且中物均勻分布的時候，絕對信粗辯息率等於信息率。 絕對信息冗餘定義為
D=R-r，
即信息率與絕對信息率之間的差。 D/R稱為相對信息冗餘，它表示了最大的數據壓縮率，這個壓縮率用文件大小減小比例所表示。當用原始文岩培缺件與壓縮後的文件表示的時候，R:r 表示能夠得到的最大壓縮率。與相對信息冗餘互補的是效率r/R。均勻分布的無記憶信源的冗餘為 0，效率為 100%，因此無法壓縮。

D. 信息效率和編碼效率的區別

平均信息傳輸速率是則肢賀香儂信息熵，孫派你學電的應該知道香儂資訊理論。輸出的信息效率是指信息的有效性可以在相移鍵控，頻移鍵控等情況下，分大信噪比或者小性飢森噪比推導，具體公式可以去查通信原理。編碼效率是多媒體通信的內容，研究的是變長編碼，你如果不了解變長編碼的話這個就不好解釋，那麼比如Huffman編碼等編碼效率為H(x)/L，L為平均碼長。這些需要你仔細研讀，我只給你提出一個方向，因為通信本來就是用數學知識解決信息傳輸的領域。

E. 資訊理論的基本內容

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬於信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。
信源：信息的源泉或產生待傳送的信息的實體，如電活系統中的講話者，對於電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。
信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，後者把接收到的電信號轉換成聲音，供聽者提取所需的信息。
信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。
編碼器：在資訊理論中是泛指所有變換信號的設備，實際上就是終端機的發送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調制器等，使信源輸出的信號轉換成適於信道傳送的信號。
解碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、解碼器、數模轉換器等。
當信源和信宿已給定、信道也已選定後，決定信息系統性能就在於編碼器和解碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編解碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發出的信息一致，或者說失真盡可能小。最佳編解碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率並證明達到或接近這一值的編解碼器是存在的，就是資訊理論的基本任務。只討論這樣問題的理論可稱為仙農資訊理論般認為資訊理論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。後者就是估計理論、檢測理論和密碼學。
資訊理論是建立在概率論基礎上而形成的，也就是從信源符號和信道雜訊的概率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小於語法信息率；電報的信息率可低於表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小於語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關於語法信息，已在概率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關於後者的論述通常稱為信息科學或廣義資訊理論，不屬於一般資訊理論的范疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。

F. 香農資訊理論三個定理

香農定理
香農定理：香農定理則描述了有限帶寬;有隨機熱雜訊信道的最姿扒大傳輸速率與信道帶寬;信號雜訊功率比之間的關系.
在有隨機熱雜訊的信道上傳輸數據信號時,數據傳輸率Rmax與信道帶寬B,信噪比S/N關系為：Rmax=B*LOG⒉（1+S/N）
在信號處理和信息理論的相關領域中,通過研究信號在經過一段距離後如何衰減以及一個給定信號能載入多少數據後得到了一個著名的公式,叫做香農（Shannon）定理.它以比特每秒（bps）的形式給出一個鏈路速度的上限,表示為鏈路信噪比的一個函數,鏈路信噪比用分貝（dB）衡量.因此我們可以用香農定理來檢測電話線的數據速率.
香農定理由如下的公式給出:C=Blog2(1＋S/N) 其中C是可得到的鏈路速度,B是鏈路的帶寬,S是平均信號功率,N是平姿枝均雜訊功率,信噪比（S/N）通常用跡冊昌分貝（dB）表示,分貝數=10×log10（S/N

G. 資訊理論的 信息率與平均互信息量的差別。看課本時感覺兩個是一樣的。

兩個不是同一個概念。

H. 什麼是資訊理論

資訊理論是將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯系。

實踐證明，世界上一切事物都在運動變化之中，在這種運動和變化之過程中，就會發出各種各樣的信息，內部的變化可以反映到外部，外部的表現反映內在的實質。

整體的變化可以反映於局部，局部的變化影響整體。人類在世界上生存，就必須認識信息、利用信息，否則就無法生存，例如預防和躲避自然災害、發明創造工具、發展生產、科學試驗等等，都是受某些信息的啟示。

戰爭更離不開信息，例如我國周代已利用烽火台傳遞戰爭的信息。

凡此種種，一言以蔽之，從有人類的那一天開始，人類就生活在信息的海洋里，一時一刻也離不開信息，而關鍵的問題就是如何認識信息，利用信息，以改變自己的生存條件、創造更好的生活環境。

(8)資訊理論的信息率是什麼擴展閱讀

人類需要信息，而且還要傳遞信息，語言的作用就是傳遞信息，也是最好的信息傳遞方法，但是語言因受距離的限制，超出聲音的可達范圍即失去傳遞的作用，又易受外界噪音的干擾，於是人類又發明了文字，文字也是傳遞信息的一種方式，但亦有一定的局限性，因而人類叉不斷地創造許許多多的信息傳遞方法。

傳遞信息的目的是為了做出合理的決策，盡管人類對信息的認識、利用源遠流長，即信息反饋。但真正對信息理論的研究，僅僅只有半個多世紀的歷程，其突破點首先是從信息傳遞方法開始的。

1922年卡橙闡明了邊帶問題理論，提出信號保護法則，即信號在調制（編碼）過程中頻譜展寬法制。可以說是資訊理論的先導。

當信源和信宿已給定、信道也已選定後，決定信息系統性能就在於編碼器和解碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編解碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。

有效性就是在系統中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發出的信息一致，或者說失真盡可能小。

最佳編解碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。

I. 在資訊理論里，信息量的含義是指什麼

數據就派櫻是信息，
數據的方差顯示了數據的集中程度，數據越是集中則說明數鍵叢據包含的信息越准確密集，這樣的話，其實就是信息量越小。
信息量就是方差。可見統計學Fisher信稿羨櫻息量。