資訊理論有哪些比較有意思的應用

① 香農資訊理論的應用范圍

編碼學
密碼學與密碼分析學
數據傳輸
數據壓縮
檢測理論
估計理論
政治學（政治溝通）
資訊理論概述
資訊理論是一門用數理統計方法來研究信息的度量、傳遞和變換規律的科學。它主要是研究通訊和控制系統中普遍存在著信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。

② 資訊理論的應用

編碼學
密碼學與密碼分析學
數據傳輸
數據壓縮
檢測理論
估計理論
政治學（政治溝通） 資訊理論的研究范圍極為廣闊。一般把資訊理論分成三種不同類型：
(1)狹義資訊理論是一門應用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。
(2)一般資訊理論主要是研究通訊問題，但還包括雜訊理論、信號濾波與預測、調制與信息處理等問題。
(3)廣義資訊理論不僅包括狹義資訊理論和一般資訊理論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。 信息是確定性的增加----逆Shannon信息定義；
信息是物質、能量、信息的標示----Wiener信息定義的逆;
信息是事物及其屬性標識的集合。 物質、能量與信息是組成世界的三大要素。人們已經很深入地了解了物質與能量，而對信息的認識才剛起步。那麼，信息是什麼？它又是以何種方式存在的？它有著怎樣的作用？以下是我的猜想，希望對人類進一步認識世界有一定幫助。
一、信息的定義
非世界三要素的信息定義:信息是事物及其屬性標識的集合。不含世界三要素的的信息定義.
含三要素的信息定義：
1．信息是確定性的增加----逆Shannon信息定義；
2．信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.
信息（information）是客觀事物狀態和運動特徵的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對於我們所生活的三維空間而言的，信息還有更深藏的本質。那麼，難道信息還存在於四維空間（這里所說的四維空間不包括時間，而是空間的四維狀態）中嗎？是的，但要明確一點，信息只存在於四維空間，三維空間中的信息只是四維空間中真實信息的影子。信息大量存在於四維空間中，其本質是在四維空間中存在的一種信息子（informer，假想的存在於四維空間的組成信息的基本單位）的規則排布。
信息是事件（corritor）發生的根本原因，這將在第三節中細作分析。
二、信息的性質
信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯系（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。
三、資訊理論機制
在平常狀態下，信息子雜亂無章地分布於四維空間中。當三維空間中的分子摩擦碰撞時，其中的能量逃逸到四維空間中，啟動了信息子的規則排布，排布好的信息子又將能量釋放出來，進入三維空間，引起其他分子的摩擦碰撞，如此循環下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經沖動的鈉鉀離子、引起雷電的電荷），並且有一定物質的量的決子被引起摩擦碰撞時，事件發生。當然，不同分子摩擦碰撞產生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。
然而，在宇宙爆炸前只有信息存在，一個決定因素（現在還不了解這個因素是什麼）導致了信息子的偶然規則排布，一部分信息子轉化為能量（信息子轉化為能量是有一定條件的，這只有在宇宙爆炸前或初期才能實現），能量再在一定條件下轉化為物質，並繼續轉移轉化，最終形成了我們現在的宇宙。因此，信息子的有序排布是事件發生的根本原因，物質摩擦碰撞是事件發生的直接原因，而能量的傳遞是事件發生的必要條件。
四、資訊理論假說的實例
1．思想與記憶：思想是我們一直捉摸不透的東西，而按照資訊理論假說來講，思想其實就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規則排布，在三維空間中的表現就是產生電流，引起腦細胞的活動，這便是思想的本質，當然，不同信息表現出不同思想。然而，這不等於我們的思想是早已限定好了的嗎？其實就是這樣。只不過我們腦中分子數量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們的思想不過也只開發了很少一部分。現實中我們所謂的思想還要有另一個因素，那就是需要通過一個完整復雜的調節機制將其表達出來，這個調節機制對於人類來說便是神經系統，因此只有我們能將復雜的思想表達出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產生思想的分子（記憶的決子）時，以前的思想便會再次通過特定信息子的規則排布表達出來。這樣看來，我們的思想是連續的，前一刻的思想直接決定了後一刻的思想，只是我們並沒發覺也沒有手段去發現罷了。
2．生命現象：人的生老病死也可以通過資訊理論假說來解釋。人生病其實是不融合分子（細菌或病毒）與體內分子摩擦引起的信息。成長其實是各種各樣的外界分子（如鈣離子）進入人體內與體內分子摩擦引起的信息。衰老與死亡是細胞內分子摩擦引起的信息，其宏觀表現為細胞的衰老與凋亡，進而影響人。
3．預感與巧合：預感是思想的一種極特殊的形式，當腦中某些分子摩擦引起信息子排布後，信息並未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預感決子的摩擦，剩下的能量則在另外的時刻釋放出來，並由於與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預感。巧合也是一種極特殊的現象，其本質是信息釋放的能量分為兩半進入到三維空間中的不同地點，引發相同分子的摩擦，從而引起不同地點相同事情的發生，這一般出現在同卵雙胞胎身上，因為其基因的相似性決定了其相同分子摩擦的幾率較大。
4．夢與不實印象（untrue impressions）：夢是在無意識情況下產生的思想，其本質也是信息。我們平時會產生不實印象，看到某情景感覺以前似乎發生過，可是以前卻並沒有發生，其實這是因為腦內分子摩擦引起信息，而信息並沒有將能量馬上釋放出來，而是暫時儲存起來，當另一時刻又有同樣的分子摩擦時，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產生印象，這便是不實印象的本質。
5．化學反應：一切化學反應的本質都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學鍵斷裂與形成，完成化學反應。
6．命運與靈魂：古人相信命運，可能是冥冥之中感到在另一空間中我們是早已被安排好的個體，於是出現了人類對靈魂、神的遐想。
五、資訊理論假說的意義
資訊理論假說將物質與思想相統一，它是唯物主義發展所必經的一步，它用唯物的觀點解釋了人類一直無法弄清的問題。它自身只是一個假說，需要人類長時間去探索與證明，它自身也存在缺陷，需要人類的不斷發現。也許它本來就是個錯誤，但它是人類成長的見證，是人類偉大的精神財富。
用資訊理論假說的觀點看問題，可以使人類認識到一個全新的世界，並有助於探索世界更深的本質。它給人類提供了一個豐富的經驗，是人類跳出固有思想看問題的典範。總之，不管它是否正確，它都是人類的不朽之作。

③ 什麼是資訊理論

作為廣義的系統論中的一部分，資訊理論最初是一門比較實用的科學，它是在研究通訊過程中的信息傳輸問題上發展起來的。
資訊理論的創始人申農，是美國貝爾電話研究所的數學家。早在1940年，申農就開始研究通訊中的信息傳遞問題。當時的中心問題是信息源發出消息後，怎樣通過信息傳遞渠道到達信息接收器的問題。圍繞此問題，在1948年，申農發表了《通訊的數學基礎》一文，它正式奠定了現代資訊理論的基礎。
申農第一次從理論上闡明了通訊的基本問題是信息傳遞問題，並提出了通訊系統的模型。他還創立了度量信息量的數學公式，並初步解決了如何從信息接收端提取信息源發來的消息的技術問題。申農還研究了如何充分利用信息傳輸道的信息容量，如何在有限的信息傳輸道中以最大的速率傳遞最大的信息量的基本途徑。同時，他還初步解決了如何編、譯才能使信息源的信息充分表達，信息傳輸的容量被充分利用的問題。
申農創立資訊理論後，又與魏沃爾合作寫了《資訊理論》一書。魏沃爾把通訊問題分成三個方面：（1）技術問題，就是解決如何精確地傳送通信符號。（2）語義問題，就是解決如何使傳送的符號精確地表達語義。（3）有效性問題，就是解決怎樣使收信者收到語義，按需要的方式有效地發揮作用。他認為申農的工作屬於技術問題，並沒有解決後兩個問題。實際上，信息的傳遞幾乎存在於一切過程中。從此，資訊理論被各個學科領域所引進並應用。
信息產業我們知道，信息、物質、能量是人類賴以生存和發展所不可缺少的三項基本資源，尤其是當今，隨著科學技術的飛速發展，人類社會已經進入到信息化社會，信息已經成為現代社會的重要組成部分，是國民經濟的重要支柱，對信息資源的開發和利用在很多國家已經成為一種產業——信息產業，並成為國民經濟的一個重要增長點。
信息產業最初是隨著計算機的開發利用，促進信息的生產、流通與應用向產業方面發展而出現的。最早人們把計算機產業、信息處理產業和信息媒介產業合稱為信息產業，後來有人把信息傳播報道業、信息流通業、知識產業等也歸到信息產業內。一般認為，信息產業主要包括以下幾部分：
1．計算機產業。從20世紀40年代電子管計算機的誕生，到今天超大規模集成電路計算機的問世，獨立的計算機產業體系已經形成，並在國民經濟中占重要地位。
2．軟體產業。一般是指為有效地利用計算機而編製程序的產業，如程序編制業、資料庫業、信息系統開發業等。
3．信息傳播媒介業（即通信產業）。包括電話產業、電報產業、廣播及電視產業、數字通信業、光纖通信業、衛星通信業等。
4．信息服務業。包括新聞報道采訪業、出版業、咨詢業、情報業等等。
當社會發展到現階段，特別是在計算機得到普及和廣泛應用、通信技術得到飛速發展時，計算機與通信技術相互滲透，形成了計算機網路的大發展，進一步推動了信息產業的突飛猛進，並使之成為國民經濟的重要支柱產業。
知識點
信息產業的核心作用
信息產業是推進國家信息化、促進國民經濟增長方式轉變的核心產業。這一作用體現在3個方面：(1)通信網路和信息技術裝備是國家信息化的物質基礎和主要動力。(2)信息技術的普及和信息產品的廣泛應用，將推動社會生產、生活方式的轉型。(3)信息產業的發展大量降低物資消耗和交易成本，對實現我國經濟增長方式向節約資源、保護環境、促進可持續發展的內涵集約型方式轉變具有重要推動作用。

④ 資訊理論與編碼的用途是什麼

資訊理論與編碼主要分兩部分，前幾章主要講信息方面的，後幾章講編碼方面的。那麼資訊理論與編碼的用途是什麼呢？

1、 資訊理論與編碼研究的是整個通信的最基本的問題，可以說資訊理論是我們專業的大綱，從香農1948年發表《通信中的數學原理》到現在60餘年的時間，資訊理論對整個行業的發展有著不可替代的指導意義。資訊理論中最著名的是香農的四大定理（國內一般稱三大定理），第一定理信源編碼定理，是解決通信中信源的壓縮問題，也是後來圖像和視頻壓縮的基本定理；第二定理信道編碼定理，是解決通信中數據能夠在特定信道中傳輸的最大值的問題，即最大數據速率小於信道容量，容量問題是通信中研究最活躍的問題之一，比如4G或LTE中廣泛用到的MIMO（多輸入多輸出，或多天線）技術，其理論本質是David Tse提出的該容量與天線數成線性遞增的關系（這句話是概述，我憑印象寫的）；第三定理有損信源編碼定理解決了在允許一定失真的情況下的信源編碼問題，比如jpeg圖像編碼，mp3音頻編碼，都是有損的編碼，其都是在香農第三定理的界之下得出的；第四定理信源信道分離定理，解決了信源編碼和信道編碼能夠分開來解決的問題，所以現在做信源編碼的可以是一部分人，做信道編碼的可以是另一部分人。

2、 這門課是比較難，而且國內對資訊理論的引進也比較晚，更不用說國內學者對資訊理論的重視程度（幾乎沒有在該領域出名的國內的學者），但這門課確實是通信的基礎，就像歐幾里得的幾何原本影響了西方學界近2000年一樣，資訊理論在未來幾百年內也必將影響通信的發展。

3、 回到實際，要說這門課和專業哪方面聯系得比較緊密的話，我覺得，研究物理層（主要是無線通信）、編碼（信道編碼或圖像視頻編碼）、密碼學有必要仔細研究下資訊理論，其他比如網路層、搞硬體設計、光纖通信等二級學科的話，學習這門課只要了解這四大（或三大）定理即可。

關於資訊理論與編碼的用途是什麼的相關內容就介紹到這里了。

⑤ 《資訊理論40講》信息的應用2——大數據和互聯網廣告

——吳軍《資訊理論40講》讀書筆記

這一部分主要介紹資訊理論的應用。本節介紹一下大數據和互聯網廣告。

1、從四個特徵把握大數據的本質

美圖秀秀修圖和使用華為手機照相都是使用大數據的結果。

怎樣才能練就一雙火眼金睛，判斷一個公司是否在真的使用大數據呢？那就從大數據的特徵說起。

首先，大數據要求數據量大，這一點大家沒有疑問。數據量小一定不符合大數據的原則。至於數據量多大合適，我們在前面介紹了置信度的概念，數據至少要大到讓統計的結果具有非常高的置信度。

其次，大數據需要具有多維度的特徵，而且各個維度最好是正交的。

第三個特徵是數據的完備性。它在過去常常被人忽略，因為人類過去使用數據，都是採用抽樣的辦法來獲取，根本不可能做到完備。今天情況就不同了，因為收集數據的設備無所不在，我們也在有意無意向它輸送數據，因此獲得完備的信息完全可能，這樣一來就堵住了採用數據作預測的死角。

第四個特徵是大數據還需要具有實時性，因為在那些應用場景，一定時間過了，數據就失去意義了。

2、在未來的時代，有三類企業會受益於大數據。 大數據的威力大家都看到了，那麼可能有人要問，有了大數據，我原來從事的行業是否會消失？其實大部分行業不會很快消失，但是可能會以另一種形式出現。消除數據之間的矛盾，也需要領域知識。因此在一個行業里從業很長時間，具有專業知識的人，不僅不會被大數據取代，而且有可能利用好大數據，在事業上更上一層樓。在未來的時代，有三類企業會受益於大數據。

第一類企業是類似於騰訊、阿里巴巴或者今日頭條的公司，它們自己有數據，有技術，有應用場景，不需外人幫忙。

第二類企業有數據沒有技術，包括很多大企業，比如移動通訊運營商、傳統的銀行和零售業等等，它們需要外人幫忙，但是通常出於保護自己利益的考慮，不會和第一類公司合作。這裡面的專業人士，就能夠解決上面數據沖突，以及將行業內不同維度的數據聯系起來的問題。

第三類企業缺乏數據，但是有技術，於是它們需要為第二類企業解決實際問題。當然，在解決問題的過程中，它們或許能夠進入很多領域，逐漸成為新的平台性公司，比如美國著名的大數據公司Splunk就是這么一步步發展起來的，它今天的市值高達200億美元。但是在一開始，這類公司一定是做臟活累活。

3、大數據思維的四個層次

我們過去說，量變會帶來質變，那常常是在一個維度上說的，而今天我們說大數據思維，已經超出了這一層含義，是一種全新的思維方式和做事情的方法。

大數據思維的第一層含義：從大量的、看似雜亂無章的數據點，總結出原來找不到的相關性。

大數據思維的第二層含義：不事先作假定，從大數據出發先得到結論，再分析原因。

大數據思維的第三層含義：利用大數據在准確把控宏觀規律的同時，精確到每一個細節。

大數據思維的第四層含義：是通過幾個維度的強相關性，替代過去的因果關系。

大數據思維的四個層次，它們層層遞進，希望大家記在心裡，想想自己如何具有大數據思維。

1、Google的廣告系統利用的是用戶主動輸入的信息

用戶自己主動輸入的信息最為有效，因為任何時候，人總是喜歡買東西，不喜歡被賣東西。任何推送都比不上用戶主動的請求更有效。

2、人對各種東西喜好的差異比我們通常想的要小很多

個性化服務的本質就是尋找每一個人和整個群體在喜好上的差異程度，我們可以用交叉熵來定量衡量它。維度分得越細，個性化特點越突出。但是，人對各種東西喜好的差異比我們通常想的要小很多。

今天有很多不重視底層技術和信息理論的創業者，天真地以為自己做了點個性化的事情，就可以對現有的行業競爭者取得碾壓性的優勢，這只是他們自己的想像。

Google一直強調，沒有數據就得不出任何結論，道理是相通的。在信息時代，為什麼我們要了解資訊理論最基本的原理？就是要能夠判斷做事情的方向是否正確，以免像一些公司那樣，死都不知道是怎麼死的。

3、使用正交、可疊加信息有很大的作用

這才是Facebook成功的根本原因。

4、離達成交易的環節越短，廣告的效果越有效。

大部分媒體，包括門戶網站上的信息，只是提供普通信息，它們離購買最遠，因此廣告的效果最差。社交網路的信息和Google搜索的信息屬於第二、第三階段的，離購買越來越近，廣告的效果也就越來越好，電商上的屬於最後一環，效果最好。我在很多場合講，做人做事要直截了當，效果最好，不要拐彎抹角，就是這個道理。

⑥ 信息熵在生活中的應用

信息熵在生活中的應用如下：

1、熱力學

熵在熱力學中是表徵物質狀態的參量之一，熵是組成系統的大量微觀粒子無序度的量度， 系統越無序、越混亂，就越大。 熱力學過程不可逆性的微觀本質和統計意義就是系統從有序趨於無序，概率較小的狀態趨於概率較大的狀態。

2、科學哲學

科學技術上泛指某些物質系統狀態的一種量度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。

3、資訊理論

在資訊理論中，熵表示的是不確定性的量度。資訊理論的創始人香農在其著作《通信的數學理論》中提出了建立在概率統計模型上的信息度量。 他把信息定義為「用來消除不確定性的東西」。

4、生命科學

生命體是一個開放的系統，時刻與外界進行著物質、能量、信息的交換，符合「耗散結構」可以用熵來分析一個生命體從生長、衰老、病死的全過程，用「生命熵」來獨立定義。

命熵的內容包含生命現象的時間序、空間結構序與功能序，生命熵變就直接反應這三個序的程度變化之和。

⑦ 資訊理論講述的是什麼問題

資訊理論是由美國數學家香農創立的，它是用概率論和數理統計方法，從量的方面來研究系統的信息如何獲取、加工、處理、傳輸和控制的一門科學。信息就是指消息中所包含的新內容與新知識，是用來減少和消除人們對於事物認識的不確定性。信息是一切系統保持一定結構、實現其功能的基礎。狹義資訊理論是研究在通訊系統中普遍存在著的信息傳遞的共同規律、以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。廣義資訊理論被理解為使運用狹義資訊理論的觀點來研究一切問題的理論。資訊理論認為，系統正是通過獲取、傳遞、加工與處理信息而實現其有目的的運動的。資訊理論能夠揭示人類認識活動產生飛躍的實質，有助於探索與研究人們的思維規律和推動與進化人們的思維活動。

⑧ 關於資訊理論，你知道它涉及到哪些領域嗎

1.信息的定義：資訊理論的鼻祖申農給信息下的界定是：不確定性的排除其實，信息的定義下不來200種

2.資訊理論：資訊理論是研究信息的本質，並用數學原理研究信息的計量傳送轉換和存儲的一門科學

資訊理論在各行各業的應用和營銷推廣，因而，它的規律性也更一般化，適用於各行各業，因此它是一門橫斷學科。廣義資訊理論，大家也稱它為信息科學。

信息和操縱是信息科學的基本和關鍵。70時代以來，電視機、數據通訊、遙感和生物醫學工程項目的發展，向信息科學明確提出大量的研究課題研究，如信息的縮小、提高、修復等圖像處理和無線通信技術，信息特點的提取、歸類和鑒別的模式、鑒別基礎理論和方式，出現了實用的圖像處理和計算機視覺系統軟體。