資訊理論與編碼用於哪些發展

① 資訊理論與編碼學的是啥

資訊理論與編碼主要分兩部分,前幾章主要講信息方面的,後幾章講編碼方面的.由信源,信道到信宿,講信息符號的傳播.為了傳播的安全性,對其進行編碼加密等.我們剛學完這門課,不是很難.祝你天天好成績.

② 求助：資訊理論與編碼理論的最新發展動態及其成果

你的提問很有創意！！
有一個比知識更天然和更基礎的概念，這個概念便是信息。但信息如若沒有定義，則是個貧乏的概念，其他概念也不能據此得到表達和關聯。而信息流的運作層面，要比知識的獲取和傳播更為基本。因此，信息盡管也通過語言傳遞，但也只在由知覺傳遞，由記憶儲存。
量子理論與相對論是二十世紀物理學兩大支柱，也是二十世紀物理學所取得的最輝煌的成果。到1982年，Wotters和Zurek在《Nature》雜志上發表一篇短文，提出所謂的量子不可克隆定理：即一個未知的量子態不可能被完全精確復制。這個定理，雖然有人認為已經蘊涵在量子態疊加原理的最基本的量子力學原理之中，其實質是量子態疊加原理的一個重要推論，但筆者不完全同意這個結論；量子不可克隆定理給量子信息的提取設置的不可逾越的界限，以及「量子態不可克隆原理」指明環境的不可避免地破壞量子的相乾性，就已經能說明，克隆與不可克隆，其本質是介入傳統問題的新視角。而且量子不可克隆定理已經開始能應對來自信息世界和信息社會新的智力挑戰。
然而早在17世紀的科學革命，使哲學家將其注意力從可知客體的本質轉移到客體與認知主體之間的知識關系，隨後而來的信息社會的發展以及現在管理信息圈的工具、組織、信息圈數百萬人打發他們時間的語義環境的出現，信息已上升為一個基本概念，並突出了信息與計算科學的概念、方法和理論基礎。這是自人工智慧早期工作以來就很清楚的事。特別是1948年，申農(Shannon)指出通信的極限而奠定的資訊理論基礎；這個基礎最初出發點似乎非常簡單，但卻不簡單。申農定義的「信息」概念是，信息的最基本形式是某一事物的對與錯。
這個「對與錯」，和「克隆與不可克隆」 ，介入信息的視角是完全不同的，其本質是電腦（電子計算機）資訊理論。因為「對與錯」可以用一個二進制單位，或者說一個「比特」，以「1」或「0」的形式來表達。在這一過程中，申農有一個驚人的發現，通過信息編碼來對付各種形式的干擾，能將信息從一個地點傳送到另一個地點。目前， 關於電腦與信息研究，已經結出累累碩果，影響也日益廣泛，可以說，現在資訊理論研究的三個范疇：A. 狹義資訊理論；B. 一般資訊理論；C. 廣義資訊理論，其本質都屬於電腦資訊理論，即是可克隆的內容。
同時申農的定義，使信息成為人們對事物了解的不確定性的消除或減少。這也是從「對與錯」的角度下的定義，例如信源發出了某種情況的不了解的「對」的狀態，即消除了不定性；並且能用概率統計的數學方法，來度量為定性被消除的量的大小：如以H（x）為信息熵，是信源整體的平均不定度；而信息I（p）是從信宿角度代表收到信息後消除不定性的程度，所以它只不在信源發出的信息熵被信宿收到後才有意義。在排除干擾的理想情況下，信源發出的信號與信宿接收的信號一一對應，H（x）與I（p）二者相等。所以信息熵的公式也就是信息量的分式。當對數以2為底時，單位稱比特（bit）,信息熵是l0g2=1比特。然而在熱力學中，熵是物質系統狀態的一個函數，它表示微觀粒子之間無規則的排列程度，即表示系統的紊亂度。這正如一個系統中的信息量是它的組織化程度的度量，一個系統的熵就是它的無組織程度的度量；即這一個正好是那一個的負數。這也說明信息與熵是一個相反的量，信息是負熵，它表示系統獲得後無序狀態的減少或消除，即消除不定性的大小。
然而，不管是語法信息、語義信息、語用信息；離散信息、連續信息；二元信息、多元信息；自然信息，社會信息，科技信息，文藝信息，經濟信息；前饋信息、反饋信息；真實信息、虛假信息；有用信息、無用信息；概率信息，突發信息，確定信息、模糊信息等，從應用、來源、載體分類來說多麼復雜，但它們具有的，1、可識別；2、可轉換；3、可傳遞；4、可加工處理；5、可多次利用（無損耗性）；6、在流通中擴充；7、主客體二重性；8、可度量性；9．可存儲性；10．時效性；11．排序性等，都與「可克隆」的性質類似。特別是關於信息傳輸的有效性、可靠性、保密性和認證性研究中，例如信源熵的定義、量化，信源編碼、信道編碼、加密編碼、解密編碼，以及關於信息的計量、發送、傳遞、交換、接收和儲存等問題，更是屬於的電腦資訊理論的內容。
1956年，法國物理學家布里淵出版《科學與資訊理論》專著，從熱力學和生命等許多方面探討資訊理論，把熱力學熵與信息熵直接聯系起來，使熱力學中「麥克斯韋爾妖」的佯謬得以解釋。1964年，英國神經生理學家W.B.Ashby發表的《系統與信息》等文章，還把資訊理論推廣應用到生物學和神經生理學領域。這些研究，以及後來從經濟、管理和社會的各個部門對資訊理論的研究，使資訊理論遠遠地超越了申農原通信技術的領域。目前的哲學家、經濟學家、計算機和情報工作者以及普通老百姓，可以完全不理會電腦資訊理論中隱藏的「克隆」概念的認同，而且類似天氣預報信息，股價預測信息，謊報軍情信息、經濟信息等和信息價值的度量及優化，好似與電腦資訊理論的研究范圍和數學工具無關，比如有效市場理論中「股票價格反映公司所有公開的信息」的「信息」的用法，一些反對電腦資訊理論的專家認為，這是把公開的資料(文字數據)本身當作信息，實際上各人對資料理解的不同，信息(量)是不同的。因此，他們希望擴大信息的研究范圍和數學工具，但此追求其本質仍然是一個提高「克隆」或「對」質量的問題。

二、量子計算機資訊理論

量子計算機（量腦）和三旋理論的出現，也許能更從多方面揭開「信息」與「克隆」關系的謎底，為「信息」的本質提供更為清晰的圖象。因為量子計算機和電腦的原理是不相同的 。這個中的道理是，量子理論雖然把任何事物包括光、物質、能量甚至時間都看成是以大量的量子形式顯現的，並且這些量子是粒子和波的多種組合，以多種方式運動，但量子的拓撲幾何形狀抽象卻長期沒有統一。一種認為量子是質點，如類粒子模型；一種認為量子是能量環，如類圈體模型。電子計算機屬類粒子模型，因為它的微處理器是以大規模和超大規模半導體集成電路晶元為部件，這是以晶體能帶p-n結法則決定的電子集群粒子性為基礎得以開發的。而量子計算機則屬於類圈體模型，因為一台桌式量子計算機的基本元件如核磁共振分光計，它操縱的是量子的自旋，而類圈體模型最具有自旋操作的特色。類圈體的三旋即面旋、體旋、線旋不僅可以用作誇克的色動力學編碼，而且也可以用作量子計算邏輯門的建造。因為類圈體的三旋根據排列組合和不相容原理，可構成三代62種自旋狀態，並且為量子的波粒二相性能作更直觀的說明：在類圈體上任意作一個標記（類似密度波），由於存在三種自旋，那麼在類圈體的質心不作任何運動的情況下，觀察標記在時空中出現的次數是呈幾率波的，更不用說它的質心有平動和轉動的情況。這與量子行為同時處於多種狀態且能同時處理它的所有不同狀態是相通的。而這正是量子計算機開發的理論基礎，並且能提高計算速度。即由信息與電子計算科學（電腦）、信息與通信技術，引起的實踐與概念的轉換，正在導致一場大變革，然而電腦的信息革命卻誤導了人們，以為僅僅是電子計算機正面臨晶體管的尺寸縮小到常規微晶元的極限，顯示的量子行為的限制，才要求功能強大的量子計算機的。
並且，這也不是有的人認為的，量子計算機的研究范圍和數學工具，與電腦資訊理論並沒有本質的不同。例如，量子計算機利用量子行為能同時處於多種狀態且能同時處理它的所有不同狀態，類似打開一把有兩位的號碼鎖，在電子計算機中，一位的狀態由0或1規定，兩位就構成4種不同，即0與0，0與1，1與0，1與1。隨著計算過程的進行，數據位就能很有秩序地在眾多的邏輯門間移動，因此在電子計算機中可能需要進行4次嘗試才能打開的計算，在類似的一台由極少量的氯仿構成的兩位量子計算機中，一個量子位可同時以0和1的狀態存在，兩個量子位也構成類似的4種不同狀態，而量子位卻不需移動，要執行的程序被匯編成一系列的射頻脈沖，通過各種各樣的核磁共振操作把邏輯門帶到量子位那裡，該鎖只用一步就被打開。
當然，也有更多的人認為，不應低估接受「克隆與不可克隆」 範式，所要遇到的不可逾越的困難。然而，正是量子不可克隆的不可逾越，才能理解愛因斯坦關於「我不相信上帝在擲骰子」的話。因為筆者認為，愛因斯坦是從宏觀物質的清楚、精確的信息非常多，而不可克隆，說的對物質實體、實在、結構最為本質的看法。在這一點上，愛因斯坦和玻爾並沒有本質的分歧。不信，就看下面以「克隆與不可克隆」 範式，對微觀物質和宏觀物質作的對比分析研究。
1、由於事物能「一分為二」或有「雙重解」結構，例如物質可分為微觀物質和宏觀物質，我們也把信息「一分為二」，類似「實體」的信息，設叫「結構信息」；類似「關系」的信息，設叫「交換信息」，這僅是和「克隆與不可克隆」作的近似對應，即假設「交換信息」是「可克隆」的，而「結構信息」是「不可克隆」的。現以 「人」代表宏觀物質，以「量子」代表微觀物質，作對比分析研究。
2、從時序上來說，宏觀物質「結構信息」的「人」，只能從「活」到「死」，不能從「死」到「活」。這是非常清楚、精確的信息；因一個「人」的清楚、精確的信息非常多，這是不能作假的，所以這個真「人」「不可克隆」，即真品克隆就成了贗品。但宏觀物質「結構信息」的「人」的這種清楚、精確的信息雖然非常多，而類似發生從「活」到「死」的概率少，且類似相同信息發生的間隔大，所以是一種弱「不可克隆」。因此對「交換信息」的「人」，是可以克隆的，例如戲劇、電影，拌演真人的演員這種克隆「人」，就可以從「活」到「死」，也可以從「死」到「活」。其原因不光是改變了時序問題，而且還存在「速度」問題。從速度上來說，宏觀物質一般遠離「光速」，「結構信息」的「人」也遠離「光速」，因此「交換信息」的「人」容易「克隆」，而且這是一種強「克隆」。
3、再說微觀物質，由於存在不確定性原理，量子存在漲落，因此好似不清楚、精確的信息非常多，容易克隆，即如俗話說的：「畫鬼易，畫人難」，因為人，大家清楚，而鬼大家不清楚，可隨便畫。但事實上，從時序上來說，「結構信息」的「量子」不但能從「存在」到「消失」，而且也能從「消失」轉到「存在」，這些清楚、精確的信息非常多，因此「量子」克隆既難又不容易。其次，從速度上來說，微觀物質一般接近「光速」，「結構信息」的「量子」也接近「光速」，量子漲落的速度也接近「光速」，而且這種類似相同信息發生的間隔小，概率又多，因此「量子」是「不可克隆」的；而且這是一種強「不可克隆」。是否「交換信息」的「量子」也不可克隆的呢？這要取決於具體情況。否定隨機性的學者認為，隨機性並非無序性；在真正的無序系統中，小誤差會以幾何級數迅速發展，所以類似擲骰子的隨機或概率是由兩個原因引起的，一是像擲骰子一樣，人們不知道它的初始狀態；二是它的無序運動。
量子不可克隆為量子編碼的絕對安全性提供了基礎，但也存在概率誤差迅速發展的環節。這讓我國以郭光燦、段路明教授為首的科學家獨辟蹊徑，避開量子不可克隆的研究方向，提出了「量子概率克隆機」，這一理論隨後被國際許多著名的實驗室所證明，被譽為「段-郭概率克隆機」，他們推導出的最大概率克隆效率公式，被國際上稱為「段-郭界限」。其原理是，量子態在超輻射的條件下會發生集體效應，能在消相乾的環境下保持其相乾性，這一研究成果被國際學術界稱為「無消相乾子空間理論」。他們運用「無消相乾子空間理論」，在國際上首創了「量子避錯編碼原理」，從根本上解決了量子計算中的編碼錯誤造成的系統計算誤差問題。即這里「交換信息」的「量子」的克隆，是一種弱「克隆」。
4、綜合上述「信息」的「雙重解」結構，不管是強「不可克隆」，還是弱「不可克隆」，「結構信息」一般是「不可克隆」的。而不管是強「克隆」，還是弱「克隆」 ，「交換信息」一般是「克隆」的。而所謂的觀察、測量，其本質也是一個「克隆」問題。但量子計算機的計算本質，則不類似電腦是一個提高「克隆」質量的問題，而是一個把「不可克隆」的問題，轉化為一個可觀察、測量的「克隆」問題。

三、信息范型、結構信息、交換信息的定義

人類需要隨時獲取、傳遞、加工、利用信息，否則就不能生存。人類早期只是用語言和手勢直接進行通訊，交流信息。人們獲得信息的方式也是兩種；一種是直接的，即通過自己的感覺器官，耳聞、目睹、鼻嗅、口嘗、體觸等直接了解外界情況；一種是間接的，即通過語言、文字、信號……等等傳遞消息而獲得信息。人類的社會生活是不能離開信息的。人類不僅時刻需要從自然界獲得信息，而且人與人之間也需要進行通訊，交流信息。長期以來，人們對結構信息、交換信息和信息范型的認識都比較模糊，也眾說紛紜。現在通過對電腦資訊理論到量子計算機資訊理論的研究，已能對它們作出定義。
結構信息：觀察、測量的事物不管是強「不可克隆」，還是弱「不可克隆」，一般是指「不可克隆」的結構交換。
交換信息：觀察、測量的事物不管是能強「克隆」，還是弱「克隆」 ，一般是指能「克隆」的交換結構。
信息范型：指對信息作的「克隆與不可克隆」的「雙重解」分類，一般僅指結構信息和交換信息這兩類範式。
人們對於信息的了解，比對於物質和能量的了解晚，至今信息是什麼？尚未形成一個公認的、確切的定義。 英文信息一詞（Information）的含義是情報、資料、消息、報導、知識的意思。所以長期以來人們就把信息看作是消息的同義語，簡單地把信息定義為能夠帶來新內容、新知識的消息。但是後來發現信息的含義要比消息、情報的含義廣泛得多，不僅消息、情報是信息，指令、代碼、符號語言、文字等，一切含有內容的信號都是信息。有人還把消息、情報、信號、語言等等，都認為是信息的載體，而信息則是它們荷載著的內容。現何能定義信息范型、結構信息、交換信息等概念呢？其實，通過對電腦資訊理論到量子計算機資訊理論的研究，也提高了人們對信息是宇宙中除物質和能量外的第三個「要素」的認識，而且已經能給「信息」作出一個完整、全面的定義。
信息：是除物質和能量外包含時序與概率的第三個「要素」，既能包容「對與錯」，又能包容「克隆與不可克隆」的結構與交換。
這里，包容「對與錯」，就有「熵」的存在，也有不確定性的消除或減少。這里，包容「克隆與不可克隆」，就有「構成論」與「生成論」，或「物質實體」與「關系實在」，或「自在實體」與「現象實體」的存在，也有「顯析序」與「隱纏序」，或「現實世界」與「可能世界」的分辯。本文不準備對此作更的解釋，這里再以愛因斯坦針對玻爾的量子論的關於「我不相信上帝在擲骰子」的說法作些分析。這個跨世紀影響的爭論，讓半個多世紀以來的許多理論物理學家和哲學家，競相誤導和誇大愛因斯坦與玻爾之間的分歧。其實，從信息范型的「雙重解」看，愛因斯坦與玻爾之間沒有矛盾，他們倆人研究的都是「結構信息」，得出的研究成果也都是「交換信息」，只不過愛因斯坦的相對論研究的是宏觀物質，玻爾的量子論研究的是微觀物質，其研究成果「交換信息」，宏觀物質與微觀物質在「克隆與不可克隆」方面有強和弱的差異，而20世紀只有電腦資訊理論而沒有量子計算機資訊理論，因此讓他們倆人討論了半天無結果。
1923年，M·玻恩向哥廷根科學院提交一封信，提名玻爾和愛因斯坦為該院外籍院士；他在玻爾的推薦中說：「他對我們這個時代的理論和實驗研究的影響，比任何其他物理學的影響都大」。過了40年，1963年，H·海森伯在一篇玻爾悼文中寫道：「玻爾對本世紀物理學家們的影響，比任何其他人的影響都更大，甚至比阿爾伯特·愛因斯坦的影響也更大。」又過了40年，現在本文想說明的是，蓋爾曼在《誇克與美洲豹》一書的「量子力學的當代觀」這一章結語中說:「我們正在努力建構量子力學的現代詮釋的目的，是想終止尼爾斯·玻爾所說的時代。」這是從實數+虛數的「結構信息」角度來理解空間「描述長度」，是一種偏重實數的「交換信息」；從歷史求和的角度來理解，又是對「結構信息」虛數的依賴。但這都能用觀控相對界的眼孔三旋理論統一起來，從而有可能站在超越玻爾和愛因斯坦的高度作出量子力學新解釋，即不停留在愛因斯坦的「結構信息」的「不可克隆」范圍，強調要從玻爾的「不可克隆」高度進入歷史求和的「交換信息」層次。就這個意義上說，愛因斯坦的光速界面是立本，玻爾的二重互補是立標，愛因斯坦和玻爾的超前思想難道還有多大的矛盾嗎？

四、量子計算機資訊理論與三旋

有學者認為，由於量子力學向信息學科的滲透和拓展而重新熱鬧起來的有關「量子力學詮釋」的討論和研究，目前如果尚有100道物理難題的困擾，那麼比起其他99道物理難題來說，愛因斯坦的相對論和以玻爾為代表的量子力學之間的協調在20世紀留給21世紀物理學的第一朵『烏雲』，就具體表現在「EPR實驗」和「薛定鍔貓佯謬」兩個問題上。如果中國人發明的環量子三旋理論，能夠在解釋微觀粒子的波粒二象性以及「EPR實驗」方面有所建樹，使量子力學擺脫EPR佯謬的折磨;但是它能否解除「薛定鍔貓佯謬」的折磨，也還要有所期待，因為三旋理論還沒有在解決「薛貓」佯謬方面做文章。即使類似《潘建偉教授的多粒子糾纏態隱形傳輸與三旋理論》一文，也不外乎是說明量子多粒子糾纏能「超光速」的傳輸並非是「超光速」。 而與「EPR實驗」問題相比，「薛定鍔貓佯謬」是量子資訊理論中的關鍵問題，也是研製「量子計算機」的理論基礎之一，三旋理論避開資訊理論，其意圖是否在為自己找突破口？因為三旋理論曾聲稱，解決相對論與量子力學之間不協調的矛盾，出路是把信息看成宇宙的組成部分；全息理論是否真能革量子場論的命，還不得而知，但環量子及其三旋能部分革量子場論的命，其本質是拓撲學和微分幾何的環面與球面不同倫。
是的，如果在三旋理論不討論「薛定鍔貓佯謬」，這是不負責任的表現。現在可以看到這個突破口，是資訊理論應分為電腦資訊理論和量子計算機資訊理論雙重解。三旋理論對波粒二象性和EPR佯謬的解釋，用的是電腦資訊理論，即用環量子的三旋就能解釋波粒二象性和EPR佯謬，這里涉及的結構信息、交換信息，只需「對與錯」的判斷；而對「薛定鍔貓佯謬」的解釋，卻要用到量子計算機資訊理論，即用環量子的三旋還不能直接解釋「薛定鍔貓佯謬」，這里涉及的結構信息、交換信息，還需要用「克隆與不可克隆」對環量子三旋作出的解釋。
眾所周知，球面和環面在拓撲上不一樣。也就是說：把球面拉拉扯扯，只要不破不粘上其它東西，它可以變大、變小、變長、變扁，但還是個球面，總也變不成環面；反過來，環面經過彈性變形之後也變不成球面。象球面和環面這兩種在拓撲上不同的曲面區別，深化了微觀物質「結構信息」的整體性觀念，通過三旋及轉座子方法，可以找到了一種基於對稱原理的嚴格數理性證明：①自旋：有轉點，能同時組織旋轉面，並能找到同時對稱的動點的旋轉。②自轉：有轉點，但不能同時組織旋轉面，也不能找到軌跡同時重復的旋轉。③轉動：可以沒有轉點，不能同時組織旋轉面，也不存在同時對稱的動點的旋轉。按以上定義，類似圈態的客體（簡稱類圈體）存在三種自旋：A、面旋：類圈體繞垂直於圈面的軸的旋轉；B、 體旋：類圈體繞圈面內的軸的旋轉；C、 線旋：類圈體繞圈體內中心圈線的旋轉。以上三種旋簡稱三旋。正是從嚴格的語義學出發，才證明類圈體整體的三旋是屬於自旋，而類圈體的部分（即轉座子）不是在作自旋，而僅是作自轉或轉動，即整體與部分是不同倫的。在類圈體表面用經線和緯線畫出網塊，即把類圈體分成環段，再把環段分成格，做成一種象魔方那樣能轉動的魔環器，這種網塊就是轉座子（即子系統）。任取一網塊都能在類圈體面上沿體內中心圈線作面旋；繞體內中心圈線作線旋；或隨同圈體整體作體旋。並且這三旋還可兩者、三者交叉組合運動。另外，轉座子還可在圈面局部地區作圓圈運動，即局部旋。與有26個轉座子54格面的魔方相比，同樣轉座子數和著色的魔環器旋轉，由於線旋時表面積還可變，就比魔方的4325億億余種圖案變化還要多得多。在這里，轉座子可以看成魔環器系統的子系統；反之，魔環器系統的子系統就是轉座子。在物質演變的各種層次，三旋現象都存在。微觀層次，環量子三旋「不可克隆」是顯然的。在宏觀層次，由於魔環器線旋時轉座子在內外的表面積要變化，也能證明類似的魔環器難製造，而「不可克隆」。
所以微觀層次環量子的三旋，本質上是一種量子計算機；三旋理論其本質也類似量子計算機是一個把「不可克隆」的問題，轉化為一個可觀察、測量的「克隆」問題。其結果支持以下兩個結論：第一，電腦人工智慧資訊理論，還不是成熟的範式。第二，量子計算機資訊理論的創新，與正統的物質和能量哲學達到了一種新的辨證。而由信息與量子計算科學和信息與電腦、通信技術引起的實踐與概念的轉換，正導致一場大變革，這便是所謂的「量子計算機革命」或「資訊理論轉向」。其中「克隆與不可克隆」的作用，就像特洛伊木馬，是把一種更具包容性的量子計算機的與信息的範式引入哲學的城堡。因此，像丘奇(Church)、申農、司馬賀(Simon)、圖靈、馮·諾依曼(Von Neumann)或維納(Wiener)這樣的思想家，基本上只被傳統的電腦資訊理論「對與錯」所承認。信息和量子計算機資源的利用，信息與量子計算科學和信息與量子通信技術，將是最發達的後工業社會使之不斷增氧的機器，信息社會因此還會迎來歷史上最快的技術增長，且成為新千年的一種象徵。。
量子計算機資訊理論為哲學提供的一套簡單而又令人難以置信的豐富觀念——新穎而又演變著的環量子三旋准備的主題、方法和模式，將為傳統的哲學活動帶來新的機遇和挑戰；在這個意義上，克隆作為基礎性的信息設計，可以解釋和指導知識環境有目的的建構，並可以為當代社會的概念基礎提供系統性處理。它可以使人類理解世界並負責任地建構這個世界。顯而易見，從克隆的角度出發，可以對信息做出規定和立法，以及信息應如何適當地生成、處理、管理和利用，它將影響到我們處理新老人文科學的整個方式，引起人文科學體系湧入自然科學的結構信息、交換信息中去作實質性的創新。

③ 資訊理論與編碼的介紹

《資訊理論與編碼》注重概念，採用通俗的文字，聯系目前實際通信系統，用較多的例題和圖來闡述基本概念、基本理論及實現原理，盡量減少繁雜的公式定理證明。

④ 關於資訊理論，你知道它涉及到哪些領域嗎

1.信息的定義：資訊理論的鼻祖申農給信息下的界定是：不確定性的排除其實，信息的定義下不來200種

2.資訊理論：資訊理論是研究信息的本質，並用數學原理研究信息的計量傳送轉換和存儲的一門科學

資訊理論在各行各業的應用和營銷推廣，因而，它的規律性也更一般化，適用於各行各業，因此它是一門橫斷學科。廣義資訊理論，大家也稱它為信息科學。

信息和操縱是信息科學的基本和關鍵。70時代以來，電視機、數據通訊、遙感和生物醫學工程項目的發展，向信息科學明確提出大量的研究課題研究，如信息的縮小、提高、修復等圖像處理和無線通信技術，信息特點的提取、歸類和鑒別的模式、鑒別基礎理論和方式，出現了實用的圖像處理和計算機視覺系統軟體。

⑤ 求 資訊理論與編碼 學習心得

學習資訊理論與編碼感想
多媒體信息是未來人類獲取信息最主要的載體，因此它已成為目前世界上技術開發和研究的熱點。視頻信息作為多媒體信息中最被關注、數據量最大的一員，現在也正面臨著一場其意義不亞於從模擬到數字的技術進步革新：從傳統的矩形DCT變換編碼到根據視頻內容、劃分對象、分別變換編碼的新的編碼方法。

一、傳統的編碼方式

傳統的視頻編碼是以視頻信號的數字量為編碼對象的，與視頻信息的內容無關，無論是M-JPEG、MPEG-1還是MPEG-2，都是以DCT矩形變換塊為變換編碼單元，對DCT塊內圖像的亮度和色度進行特徵取樣，提取像素；採用幀間編碼、運動估測技術，在參考幀幀內DCT編碼的基礎上，對DCT塊內圖像的像素特徵進行差值預測編碼。基於矩形DCT編碼的視頻編碼在設計思想上只考慮到對信號數據進行處理的需要（比如小的比特率以利於傳輸、高的比特率以保證質量），但未考慮視頻信息--圖像內容本身的含義和重要性，以及視頻信息應用者的主觀需求（比如部分內容的提取功能）。另外，這種基?quot;塊"的壓縮演算法在低碼率時容易產生"方塊效應"和"抽幀"，大大縮小了視頻信息的應用領域。

小波變換是一種新的變換編碼方法，它與DCT變換相比，考慮到了視頻信號對不同應用環境的自適應性（不同的清晰度與比特率），可以將基礎圖像層與增強圖像層分離編碼傳輸，用戶可根據實際情況選擇是否打開增強圖像層。但無論用戶選擇是或否，被傳送的視頻信息卻都是一樣的。

二、 基於內容對象的編碼

1、 VO與VOP概念的引入

傳統的視頻編碼方式是將整個視頻信號作為一個內容單體來處理，其本身不可再分割，而這與人類對視覺信息的判別法則，也就是大腦對視神經導入的視覺信號的處理方法是完全不同的。這就決定了我們不可能將一個視頻信息完整的從視頻信號中提取出來，比如：將加有台標和字幕的視頻恢復成無台標、字幕的視頻。解決問題的惟一途徑就是在編碼時就將不同的視頻信息載體--視頻對象VO（Video Objects）區分開，獨立編碼傳送，將圖像序列中的每一幀，看成是由不同的VO加上活動的背景所組成。VO可以是人或物，也可以是計算機生成的2D或3D圖形。VO具有音頻屬性，其屬性賦值可能?quot;有"或者是"無"。但音頻的具體內容數據是獨立於視頻編碼、傳輸的。VO概念的引入，更加符合人腦對視覺信息的處理方式，並使視頻信號的處理方式從數字化進展到智能化。提高了視頻信號的交互性和靈活性，使得更廣泛的視頻應用和更多的內容交互功能成為可能。

現代圖像編碼理論指出，人眼捕獲圖像信息的本質是"輪廓－紋理"，即人眼感興趣的是VO的一些表面特性，如形狀、運動、紋理等。VO的表面往往是不規則的、千變萬化的，但可將其視為一定視角下，n個形狀規則的、具有一定紋理的剖面的組合的連續運動，這些剖面的組合稱為視頻對象面VOP(Video Object Profile)。VOP描述了VO在一定視角條件下的表面特性。VOP的編碼主要由兩部分組成：一個是形狀編碼，另一個是紋理和運動信息編碼。VOP紋理編碼和運動的預測、補償在原理上同MPEG-2基本一致，而形狀編碼技術則是首次應用在圖像編碼領域。

2、新的編碼技術

合成VO的獨立編碼 在以前，2D或3D動畫被看作是視頻的一部分，並一概以視頻的方法來處理。實際上，根據合成VO的合成機理和特性，大部分合成VO都可以用通用的有關圖形文本的多種表達方式來描述。非復雜性合成VO將被視為一種獨立於視頻的數據類型來編碼，並定義了其描述框架、通用的數據流結構和靈活的介面。而復雜性合成VO和自然VO的編碼方法，將採用以下的編碼方法。

基於矩形窗口的VOP分割 考慮到與現有標準的兼容，目前已得到應用的VO編碼技術，比如MPEG4，仍採用了基於矩形窗口的內容分割法。編碼時，首先利用像素特徵統計，將每一個VOP都限定在一個矩形窗口內，稱之為VOP窗口(VOP Window),取窗的原則為：長、寬均為16像素的整數倍（便於對現有標準的兼容和將來的擴展），同時保證VOP窗口中非VOP的宏塊數目最少。目前標准中的視頻幀可認為是一個無VOP的特例，在編碼過程中將形狀編碼模塊屏蔽掉就可以了。在一個VOP窗口內，VOP剖面的形狀也是採用8×8像素的矩形形狀。針對不同的VOP，可以根據不同的應用場合和運動、變化的特點，採用固定的或可變的VOP幀頻（即VOP刷新頻率）。

矩形窗口分割法並不能體現VOP的具體形狀信息。為了確認採用矩形窗口分割法的VOP的形狀信息，就引入了形狀編碼技術。形狀編碼其實並不是什麼新技術，它在計算機圖形學、計算機視覺領域早有應用。而目前的視頻編碼標准中的點陣圖技術其實就是形狀編碼的簡單特例。點陣圖採用矩陣的形式來表示二值（0或1）的形狀信息，具有較高的編碼效率和較低的運算復雜度。VOP的形狀信息有兩類：邊緣信息和灰度信息。邊緣信息用0、1來表示VOP的形狀，0表示非VOP區域，1表示VOP區域。對於包含一定透明度的VOP區域，可以用灰度信息（取值0～255之間）來表示透明程度，其中0表示完全透明，255表示完全不透明。對於模糊邊緣部分，可將其視為灰度信息從周圍已知VOP區域的灰度值向0值的過渡區域，採用內插法確定其形狀信息。

基於小波變換的VOP分割 基於矩形窗口的VOP分割依舊存在"塊效應"問題，而基於小波變換的VOP分割則可以很好的解決這個問題，而且由於這種分割方法的本身就包含了VOP的形狀信息，所以無需另對形狀信息進行判別與編碼。基於小波變換的VOP分割方法是目前最為活躍的視頻編碼課題研究領域，各種演算法不斷的被發表，但基本上可以劃分為兩類方法：

1、利用圖像灰度特徵分割：不同的圖像具有不同的灰度分布，利用小波變換，將圖像變換到小波域，產生各層、各子帶圖像。小波變換後，大部分的能量是集中在低頻子帶圖像上，即大面積的平均灰度區域信息主要在低頻子帶圖像中體現。根據資訊理論的原理，確定多個灰度閾值，可以將具有不同灰度的VOP從低頻子帶圖像中分離。同時再利用高頻子帶圖像以及模糊數學模型，確定每一個VOP的邊緣信息。利用圖像灰度特徵分割的小波變換，是沿掃描方向的單方向變換。

2、利用圖像紋理特徵分割：紋理是一種局部特徵反復出現的結果，它體現了圖像的局部頻域信息。對於一幅數字圖像，進行多方向的小波變換是可行的，比如對一幀畫面進行垂直方向或對角線方向的小波變換。經過多種小波變換後可得到不同方向的各子帶圖像，它們各自蘊涵著不同紋理的局部頻譜信息和紋理走向等信息。對具有相同頻譜特徵的圖像局部進行聚類分析，並根據紋理頻譜和紋理走向確定該聚類的紋理邊緣。根據資訊理論原理和運動估測，將運動矢量具有相關性的聚類二次歸類於不同的對象（即VOP），並影射成不同灰度顯示。多級小波變換的結果最多可線性的影射成0～255灰度級顯示。進行小波變換的方向越多，各方向的夾角越小，圖像分割也就越准確，但計算量也隨之迅速膨脹。根據局域紋理中心頻率的變化自適應地選擇小波變換的級數（幾個方向的變換）和方向，有助於在圖像分割的准確性和計算量之間達到平衡。正如本文前面所述，人眼捕獲圖像信息的本質?quot;輪廓－紋理"，故基於多方向小波變換的提取圖像特徵、分割紋理圖像的方法符合人眼視覺生理的特點，是紋理圖像分析的重要發展方向。

無論是哪一種方法，當得到不同VOP的不同灰度表示之後，通過類似於鍵技術的多通道處理，即可得到多個原始的彩色VOP。目前實驗表明，基於小波變換的圖像分割在邊界上仍有些模糊，但總體效果還是相當滿意的，達到了分割紋理圖像的目的。

VOP運動信息編碼和運動補償 人眼在觀看圖像時，會自動跟蹤人所感興趣的VOP。即人看的不是時間軸上的信息，而是VOP的運動軌跡---光流軸上的信息。光流軸是VOP上的一點在活動圖像上的運動軌跡，它在不同的幀中位於不同的空間位置，其意義在於：VOP自身的各種變化都將映射於光流軸上的一點。光流軸信息的獨立編碼將帶來諸多好處：（1）在編碼時，對於剛性VOP，由於它在運動中不會發生形狀和紋理上的變化，故該VOP只需要完成一次采樣、編碼，而後就只需發出幾個運動矢量指明它的光流軸即可；對於非剛性VOP，只需在發生變化時才需要重新采樣、編碼，這就使得不同的VOP採用不同的VOP幀頻成為可能，將編碼的數據率最低限度的降低。（2）VOP在運動中的各種變化都將"留跡"於光流軸，當在進行運動補償時，比如不同制式之間的轉換或者慢動作的製作，就可以根據光流軸映射信息，採用內插法得出時間軸上某一確定點的VOP狀態，達到無損轉換的目的。（3）在時間軸上，簡單的將一個圖像序列的兩路信號疊加，隨即噪波和圖像的活動部分都得不到增強；若在光流軸上進行信號疊加，活動圖像的降噪問題就得到了簡單解決。

VOP的運動估測是指：分析兩個或更多幀上的VOP，確定光流軸，以判斷下一幀中VOP可能出現的位置。VOP的運動補償是指：根據VOP光流軸的取向和光流軸上VOP自身變化得映射信息，矯正VOP在時間軸上的運動矢量。運動預測和運動補償技術可以去除圖像信息中的時間冗餘成分，VOP的運動信息編碼可視為從像素向任意形狀的VOP的延伸。

紋理編碼 在已得到實際應用的MPEG-4中，VOP的紋理編碼基本上仍採用基於8×8像素塊的DCT方法，有3種模式：幀內編碼模式(I-VOP)、幀間預測編碼模式(P-VOP)和幀間雙向預測編碼模式(B-VOP)。編碼時，對於完全位於VOP內的像素塊，則採用經典的DCT方法；對於完全位於VOP之外的像素塊則不進行編碼；對於部分在VOP內，部分在VOP外的像素塊則首先採用圖像填充技術來獲取VOP之外的像素值，之後再進行DCT編碼。

依據視覺特性的紋理編碼目前仍處於理論研究階段，其目標是：建立常見紋理局部特徵符號集，定義描述紋理分布、走向的多媒體語言。以人臉為例：人臉定義參數（FDP）描述了特定人臉紋理形狀模型與通用人臉模型之間的差別，通過接收到的各種FDP，能把通用的人臉模型變換成由其形狀和紋理確定的特定人臉。人臉動畫參數（FAP）描述了特定的人臉表情與中性表情的變化關系，通過接收到的各種FAP能生成人臉的各種表情以及與聲音同步的嘴唇活動等。這樣的合成編碼不僅可極大地提高編碼效率（可獲得1kbps的超低碼率），而且為製作新的人臉等對象提供了方便。

分級編碼 多媒體的應用場合具有不同的信道帶寬、處理能力、顯示能力及用戶需求，要求在解碼端支持時域、空間及質量的上伸縮性，即分級編碼。分級編碼可以通過視頻對象層VOL(Video Object Layer)的數據結構來實現。每一種分級編碼都至少有2層VOL，低層稱為基本層，高層稱為增強層。空間伸縮性可通過增強層強化基本層的空間解析度來實現，因此在對增強層中的VOP進行解碼之前，必須先對基本層中相應的VOP進行解碼。同樣對於時域伸縮性，可通過增強層來增加視頻序列中某個VO(特別是運動的VO)的幀率，使其與其餘區域相比更為平滑。

三、 新的技術標准--MPEG 4

首次採用VO編碼技術的視頻編碼標準是由MPEG 4。MPEG 4於1999年年初正式成為國際標准(標准號為ISO/IEC 14496)，在1999年12月的後繼版本中增加了可變形、半透明視頻對象及其工具的先進功能，它進一步提高了編碼效率，並與第一版反向兼容。

1、MPEG 4標準的構成

1） DMIF（The Dellivery Multimedia Integration Framework）：多媒體傳送整體框架協議。MPEG-4標准將眾多的多媒體應用集成於一個完整的框架內，旨在為多媒體通信及應用環境提供靈活的演算法及工具，用於實現音視頻數據的有效編碼及更為靈活的存取。它解決了多領域中多媒體應用個性化交互操作的問題。

2） 解碼器：定義了MPEG-4系統特殊的解碼模式（SDM），要求特殊的緩沖區和實時模式。

3） 音頻編碼：支持自然聲音和合成聲音，支持音頻的對象特徵。

4） 視頻編碼：支持自然和合成的視覺對象，合成的視覺對象包括2D、3D動畫和人面部表情動畫等。

5） 場景描述BIFS（Binary Format for Scene description）：關於一組VO的時空結構關系的參數信息，主要描述了各VO在一具體背景下的相互關系與同步等問題，以及VO及其背景的知識產權保護等問題。BIFS與VO對象特徵信息的編碼、傳輸是相對獨立的。場景描述信息編碼及其的獨立傳輸是實現用戶端編輯操作的關鍵：在解碼之後和場景合成之前，用戶可以通過對BIFS參數的重新設置來對VO 進行多種編輯操作，如增減、縮放、平移，甚至一些特技效果。

下面的表格反映了MPEG體系的部分技術指標。MPEG-4是高比率有損壓縮（比如將一個9 GB的DVD視頻壓縮拷貝到只有700MB空間的CD-ROM上），其圖像質量始終無法與MPEG-2相比。當MPEG-4與MPEG-2的碼率輸出相同時，其質量仍稍遜於MPEG-2。同時，MPEG 4對硬體的要求也較高。事實上，我們注意到MPEG-4在保證令人滿意的圖像質量的情況下，更注重較低的數據率和靈活的交互功能。

2、MPEG 4編碼器

MPEG 4編碼簡化原理圖如圖一。

對於輸入視頻序列，通過分析確認n個視覺目的對象為編碼對象，將其認定為n個VO（n=1,2,3…），對每一個VO編碼後形成這個VO的VOP數據流。VOP的編碼包括對運動(採用運動預測方法)及形狀、紋理(採用變換編碼方法)的編碼。由於VOP具有任意形狀，因此要求編碼方案可以處理形狀(Shape)和透明(Transparency)信息，這就是與只能處理矩形幀序列的現有視頻編碼標準的根本區別。在MPEG-4中，矩形幀被認為是VOP的一個特例，這時編碼系統不用處理形狀信息，退化為類似於MPEG-1、MPEG-2的傳統編碼系統，同時也實現了與現有標準的兼容。除去VO的其餘圖像部分--背景，仍採用傳統的矩形DCT變換編碼；VO場景描述信息（VO自身信息，如VO對象的知識產權、和VO間的位置、邏輯關系等）也要進行編碼，最後和VOP流、背景一起送入MPEG 4幀復合器，生成MPEG 4流輸出。

需指出的是：在VO分割後，每一個VO都需要一個VOP編碼通道，在圖一中只畫出了一個。多個VOP幀發生器的輸出在MPEG 4幀復合器中可實現靈活地多路復用編碼或同步並行傳輸編碼，以適應各種傳輸環境和要求。MPEG 4解碼是以上編碼過程的逆過程。可以看出，獨立於背景的VO編碼可以實現接收端的用戶對VO對象進行選擇性地操作。

3、MPEG 4視頻編碼功能與特點

MPEG 4標準的制定有兩個目標：低比特率的多媒體通信和多工業的多媒體通信的綜合。即MPEG-4遵循靈活的編碼工具框架體系，設計了一個開放的編碼系統，對於不同的應用採用不同的編碼演算法，以達到低比特率通信的目標。MPEG-4解碼器是可編程的，相應的解碼信息可與內容本身一起傳輸下載。與現有的MPEG-1和MPEG-2視頻壓縮相比，MPEG-4視頻有一些重要的改進：

1）基於內容的交互功能: MPEG-4提供了全新的交互方式，根據製作者的具體自由度設計，在有限的時間內可實現對多媒體VO的時域隨機存取（從不同的源獲取內容或向不同的源發送內容）、快速搜索、改變場景的視角、改變場景中物體的位置、大小和形狀，或對該對象進行置換甚至清除。

2）支持自然及合成信息的混合編碼（NHC：Synthetic and Natural Hybrid Coding）：MPEG-4支持合成信息的編碼，可對合成的VO及其活動信息進行參數化描述。對於頻繁出現的視覺對象則分別定義了它們的紋理形狀和動畫參數。

3）高效編碼：包括視頻VO數據的高效編碼和多個並發數據的有效同步編碼。

4）基於內容的伸縮性：是指分級編碼後，紋理、圖像和視頻基於內容的伸縮性，視頻序列中時域、空間及質量的伸縮性，表現為時域實時或非實時、數據率大小及重建的圖像質量上。

5）可變的最終輸出：不同的碼率意味著支持不同的功能集。功能集的底層是VLBV核心(VLBV：Very Low Bit Rate Video)，它為最低達5-64kbits/s視頻操作與應用提供演算法與工具，支持較低的空間解析度(低於352×288像素)和較低的幀頻(低於15Hz)。VLBV核心功能包括：矩形圖像序列的有效編碼、多媒體資料庫的搜索和隨機存取。MPEG-4的HBV(HBV: High Bit Rate Video,范圍在64kbits/s-4Mbits/s之間)同樣支持上述功能，但它同時還支持較高的空間與時間解析度。其輸入可以是ITU-R 601的標准信號，因此其典型應用為數字電視廣播與互動式檢索。

與MPEG-1和MPEG-2相比，MPEG-4的特點是其更適於互動式AV服務以及遠程監控。MPEG-4是第一個允許用戶端操作的的視頻編碼標准。MPEG 4的特點非常適合於互聯網上的互動式影視服務：可適應各種應用終端的物理網路環境，可實現對視音頻內容的交互操作，具有下載解碼能力（在一定的硬體基礎上，可下載解碼工具，對不同編碼方式的內容進行解碼處理）。MPEG-4的設計目標還有更廣的適應性和可擴展性：網際網路多媒體應用、互動式視頻游戲、實時可視通信、互動式存儲媒體應用、廣播電視、演播室技術及電視後期製作、多媒體內容存儲和檢索、採用面部動畫技術的虛擬會議、多媒體郵件、移動通信條件下的多媒體應用、可視化合作實驗室場景應用、遠程視頻監控、通過ATM網路等進行的遠程資料庫業務等等。

從矩形幀到VOP，MPEG-4順應了現代圖像壓縮編碼的發展潮流，即從基於DCT的傳統編碼向基於對象和內容的現代編碼的轉變。從這個意義上講，MPEG-4視頻編碼技術翻開了圖像編碼史上嶄新的一頁。

四、 MPEG 4視頻產品

在2001 NAB會展上，多家公司推出了他們的MPEG 4產品。Amnis公司推出了基於IP平台的MPEG4視頻流技術，展示了可以重放MPEG1, MPEG2和MPEG4的桌面軟體。Envivo 公司陳列了他們的應用於IP網路或MPEG2節目數據廣播的MPEG4端到端解決方案。該方案是純軟體的，支持視頻、音頻和合成的2D動畫的MPEG4方式編碼，以及對MPEG 4文件的版權保護。Optibase公司推出的MGW系列是一個插件式的多通道流伺服器系列，可插入不同的編碼模塊以適應不同的需求，其中MGW 4000是支持MPEG4（兼容MPEG1和MPEG2）的流伺服器。Optibase還推出了支持多媒體和交互MPEG4流的IP實時編碼、分配平台。最後，Optibase展示了從MPEG 1到MPEG 4的實時轉碼技術。Philips 提供了一個從製作到重放的、端到端的網上MPEG-4解決方案：包括互動內容編輯器（支持網上MPEG-4視頻流的搜索、剪輯和編輯）、實時軟體MPEG-4編碼器（甚至支持簡單視頻和AAC音頻的無線編碼）、通用多點分配IP平台和解碼軟體（WebCine' player支持Win95,Win2000和NT操作系統；WinCE用於手提電腦；Trimedia是一個網上廣播機頂盒）。SUN 公司也推出了他們的通用MPEG-4流伺服器。

微軟在它現在的WIN98和WIN2000操作系統中也已加入了一個MPEG-4的播放器，叫做Divx。它可以回放仍是以.AVI為後綴的MPEG 4文件。Divx可以附加到MPEG-4的數據流中，並可以進行設置以適應不同的使用要求。Divx視頻編碼技術是由 Microsoft MPEG4 V3 修改而來，使用MPEG 4壓縮演算法，打破了ASF的種種協定。但MPEG4畢竟是一種高比率有損壓縮，其圖象質量始終無法和 DVD 的 MPEG2 相比，即便是在MPEG4碼率和DVD碼率差不多時，總體效果還是有距離（在雜亂的細節上稍有模糊）。所以目前的MPEG4 只能面向於娛樂和欣賞方面的市場。
市場上的第一張DIVX-MPEG4格式的影碟《活火熔城》，長98分鍾，採用512×288 16:9格式，幀頻24幀/秒，64KB立體聲音頻。影片由720×480 16:9 30幀/秒的MPEG2制式轉刻，刻在單張CD碟片上。

六、結 尾

在最後結束本文的時候，作者還想說一些與本文有關的闡述文字。由於工程實現與商機、市場的原因，我們所獲得的工程技術成果經常是落後於科學家已經得心應手、並能信手拈來的實際的最前沿科技成果。MPEG-4標准即是多因素集合作用的結果，如果不考慮對已有產品的兼容，它還可以做得更好。

VOP編碼方式是視頻信號處理技術從數字化進入智能化得初探。另外，已VOP技術為依託，也使得模式識別技術從對符號的識別進入到對圖形識別的更新的領域。資料表明，此類研究已經更進一步的逼近人腦對視覺信息的處理方式。人類永遠不停的在揭示自然界無窮奧妙的同時，也更深入的探索人類自身。

⑥ 資訊理論與編碼的內容簡介

《資訊理論與編碼(第2版)》重點介紹由香農理論發展而來的資訊理論的基本理論以及編碼的理論和實現原理。全書分7章，在介紹了有關信息度量的基礎上，重點討論了信道容量、率失真函數，以及無失真信源編碼、限失真信源編碼、信道編碼和密碼學中的理論知識及其實現原理在各章的最後還附有內容小結和大量習題，書後附有部分習題答案，便於讀者學習，加深對概念和原理的理解。此外，《資訊理論與編碼(第2版)》有配套電子教案。

⑦ 資訊理論的應用有哪些

資訊理論是研究信息的產生、獲取、變換、傳輸、存貯、處理識別及利用的學科。資訊理論還研究信道的容量、消息的編碼與調制的問題以及雜訊與濾波的理論等方面的內容。資訊理論還研究語義信息、有效信息和模糊信息等方面的問題。資訊理論有狹義和廣義之分。狹義資訊理論即申農早期的研究成果，它以編碼理論為中心，主要研究信息系統模型、信息的度量、信息容量、編碼理論及雜訊理論等。廣義資訊理論又稱信息科學，主要研究以計算機處理為中心的信息處理的基本理論，包括評議、文字的處理、圖像識別、學習理論及其各種應用。廣義資訊理論則把信息定義為物質在相互作用中表徵外部情況的一種普遍屬性，它是一種物質系統的特性以一定形式在另一種物質系統中的再現。廣義資訊理論包括了狹義資訊理論的內容，但其研究范圍卻比通訊領域廣泛得多，是狹義
資訊理論在各個領域的應用和推廣，因此，它的規律也更一般化，適用於各個領域，所以它是一門橫斷學科。廣義資訊理論，人們也稱它為信息科學。
信息和控制是信息科學的基礎和核心。70年代以來，電視、數據通信、遙感和生物醫學工程的發展，向信息科學提出大量的研究課題，如信息的壓縮、增強、恢復等圖像處理和傳輸技術，信息特徵的抽取、分類和識別的模式、識別理論和方法，出現了實用的圖像處理和模式識別系統。

⑧ 資訊理論編碼在通信處理領域的應用

我兩年前學這本書，確實難，但我覺得這本書學好了，對進入通信領域絕對有大大的幫助

⑨ 資訊理論的應用

編碼學
密碼學與密碼分析學
數據傳輸
數據壓縮
檢測理論
估計理論
政治學（政治溝通） 資訊理論的研究范圍極為廣闊。一般把資訊理論分成三種不同類型：
(1)狹義資訊理論是一門應用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。
(2)一般資訊理論主要是研究通訊問題，但還包括雜訊理論、信號濾波與預測、調制與信息處理等問題。
(3)廣義資訊理論不僅包括狹義資訊理論和一般資訊理論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。 信息是確定性的增加----逆Shannon信息定義；
信息是物質、能量、信息的標示----Wiener信息定義的逆;
信息是事物及其屬性標識的集合。 物質、能量與信息是組成世界的三大要素。人們已經很深入地了解了物質與能量，而對信息的認識才剛起步。那麼，信息是什麼？它又是以何種方式存在的？它有著怎樣的作用？以下是我的猜想，希望對人類進一步認識世界有一定幫助。
一、信息的定義
非世界三要素的信息定義:信息是事物及其屬性標識的集合。不含世界三要素的的信息定義.
含三要素的信息定義：
1．信息是確定性的增加----逆Shannon信息定義；
2．信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.
信息（information）是客觀事物狀態和運動特徵的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對於我們所生活的三維空間而言的，信息還有更深藏的本質。那麼，難道信息還存在於四維空間（這里所說的四維空間不包括時間，而是空間的四維狀態）中嗎？是的，但要明確一點，信息只存在於四維空間，三維空間中的信息只是四維空間中真實信息的影子。信息大量存在於四維空間中，其本質是在四維空間中存在的一種信息子（informer，假想的存在於四維空間的組成信息的基本單位）的規則排布。
信息是事件（corritor）發生的根本原因，這將在第三節中細作分析。
二、信息的性質
信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯系（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。
三、資訊理論機制
在平常狀態下，信息子雜亂無章地分布於四維空間中。當三維空間中的分子摩擦碰撞時，其中的能量逃逸到四維空間中，啟動了信息子的規則排布，排布好的信息子又將能量釋放出來，進入三維空間，引起其他分子的摩擦碰撞，如此循環下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經沖動的鈉鉀離子、引起雷電的電荷），並且有一定物質的量的決子被引起摩擦碰撞時，事件發生。當然，不同分子摩擦碰撞產生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。
然而，在宇宙爆炸前只有信息存在，一個決定因素（現在還不了解這個因素是什麼）導致了信息子的偶然規則排布，一部分信息子轉化為能量（信息子轉化為能量是有一定條件的，這只有在宇宙爆炸前或初期才能實現），能量再在一定條件下轉化為物質，並繼續轉移轉化，最終形成了我們現在的宇宙。因此，信息子的有序排布是事件發生的根本原因，物質摩擦碰撞是事件發生的直接原因，而能量的傳遞是事件發生的必要條件。
四、資訊理論假說的實例
1．思想與記憶：思想是我們一直捉摸不透的東西，而按照資訊理論假說來講，思想其實就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規則排布，在三維空間中的表現就是產生電流，引起腦細胞的活動，這便是思想的本質，當然，不同信息表現出不同思想。然而，這不等於我們的思想是早已限定好了的嗎？其實就是這樣。只不過我們腦中分子數量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們的思想不過也只開發了很少一部分。現實中我們所謂的思想還要有另一個因素，那就是需要通過一個完整復雜的調節機制將其表達出來，這個調節機制對於人類來說便是神經系統，因此只有我們能將復雜的思想表達出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產生思想的分子（記憶的決子）時，以前的思想便會再次通過特定信息子的規則排布表達出來。這樣看來，我們的思想是連續的，前一刻的思想直接決定了後一刻的思想，只是我們並沒發覺也沒有手段去發現罷了。
2．生命現象：人的生老病死也可以通過資訊理論假說來解釋。人生病其實是不融合分子（細菌或病毒）與體內分子摩擦引起的信息。成長其實是各種各樣的外界分子（如鈣離子）進入人體內與體內分子摩擦引起的信息。衰老與死亡是細胞內分子摩擦引起的信息，其宏觀表現為細胞的衰老與凋亡，進而影響人。
3．預感與巧合：預感是思想的一種極特殊的形式，當腦中某些分子摩擦引起信息子排布後，信息並未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預感決子的摩擦，剩下的能量則在另外的時刻釋放出來，並由於與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預感。巧合也是一種極特殊的現象，其本質是信息釋放的能量分為兩半進入到三維空間中的不同地點，引發相同分子的摩擦，從而引起不同地點相同事情的發生，這一般出現在同卵雙胞胎身上，因為其基因的相似性決定了其相同分子摩擦的幾率較大。
4．夢與不實印象（untrue impressions）：夢是在無意識情況下產生的思想，其本質也是信息。我們平時會產生不實印象，看到某情景感覺以前似乎發生過，可是以前卻並沒有發生，其實這是因為腦內分子摩擦引起信息，而信息並沒有將能量馬上釋放出來，而是暫時儲存起來，當另一時刻又有同樣的分子摩擦時，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產生印象，這便是不實印象的本質。
5．化學反應：一切化學反應的本質都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學鍵斷裂與形成，完成化學反應。
6．命運與靈魂：古人相信命運，可能是冥冥之中感到在另一空間中我們是早已被安排好的個體，於是出現了人類對靈魂、神的遐想。
五、資訊理論假說的意義
資訊理論假說將物質與思想相統一，它是唯物主義發展所必經的一步，它用唯物的觀點解釋了人類一直無法弄清的問題。它自身只是一個假說，需要人類長時間去探索與證明，它自身也存在缺陷，需要人類的不斷發現。也許它本來就是個錯誤，但它是人類成長的見證，是人類偉大的精神財富。
用資訊理論假說的觀點看問題，可以使人類認識到一個全新的世界，並有助於探索世界更深的本質。它給人類提供了一個豐富的經驗，是人類跳出固有思想看問題的典範。總之，不管它是否正確，它都是人類的不朽之作。

⑩ 資訊理論與編碼

第一問見圖片。

第二問：

二元對稱信道的信道容量為C=1-H(p)=1-(-0.98log0.98-0.02log0.02)=0.8586bit/symbol。

信源（消息序列）的信息量為14000symbol*H(1/2)=14000bit；若10秒內傳輸這個消息序列，則每秒需要傳輸的符號數為14000bit/10s=1400bit/s；則輸入信道的數據速率為R=1400bit/s/1500symbol/s=0.9333bit/symbol，則R>C，根據信道編碼定理（香農第二定理），消息不能無失真的傳輸。