香農信息度量適合於什麼事件

『壹』 　狹義資訊理論

一、概述

資訊理論是美國數學家香農（C.E.Shannon）建立的。1948年及1949年香農在《貝爾系統技術雜志》上發表的《通信的數學理論》和《在雜訊中的通信》兩篇論文，奠定了現代資訊理論的基礎。他從研究通訊中要解決的信息度量等問題入手，建立了僅用於通信系統的資訊理論，或稱香農資訊理論，也稱狹義資訊理論。

香農在深入研究了各種復雜的通信系統後，將通信系統的形式抽象為圖1—1所示那樣的模型。模型由六個部分組成，各部分的意義是：

圖1—1香農的通信系統模型

1.信源和信宿

信源即信息的來源，它能夠形成和發送一種消息或消息系列，這種消息有待於傳輸給接收端。信源是多方面的，不僅人可以發出信息，而且自然界一切物體也能主動地或被動地發出信息，成為信源。信宿即信息接收者，它能夠接收消息，並使消息再現，達到通信的目的。信宿可以是人，例如地質人員，也可以是機器，例如物探中所用的各種接收儀器。

2.信道和雜訊

信道是傳輸信息的媒介，是信源和信宿交換信息的通路。在地質找礦工作中，地下地質體（信源）發出的信息（如電磁場）要經過地殼中的岩石及（或）地面上空氣，傳輸到信宿，故信源的上覆地層及（或）空氣就是信道。

當信息在信道中傳輸時，常受到雜訊的干擾。在通信系統中所遇到的雜訊可分為兩類：系統外部的雜訊和系統內部的雜訊。雜訊往往影響通信效果，造成某些失真，為此，必須盡量減少雜訊。

在地質找礦中，一般將雜訊稱作干擾。

3.編碼和解碼

「碼」是一個符號表和將這些符號排列起來時必須遵守的一些制約。運用這些符號，遵守相應的制約把信息變成信號，這一過程就是編碼。

當信號系列通過信道輸出端輸出後，必須經過解碼復製成消息，才能送到收信人手中。解碼過程恰好與編碼相反，所以解碼就是編碼的反變換。

以上幾部分就構成了香農的通信模型（見圖1—1）。

香農這個模型不僅可以用於通信系統，而且可以推廣到其他非通信領域。在非通信系統中，可稱為信息流通系統。以企業管理為例，由基層單位及其他有關方面提供信息，領導機關通過各種渠道了解和收集信息，然後處理信息，作出決策。在這里，基層單位等是信源，領導單位是信宿，而了解和收集情況的各種渠道是信道。這也是一個簡單的信息流系統。從這個觀點看，地質找礦工作也可看成是一個復雜的信息流系統（將在第三章中敘述）。

二、狹義資訊理論中信息的定義

任何一門科學在其發展過程中都經歷了兩個階段，即定性研究和定量研究階段。定性是定量的基礎，定量則是定性的精確化。只有當一門科學從定性研究進入定量研究後，這門科學才成為「精確科學」，資訊理論要發展成為一門「精確科學」，就必須對信息進行度量。

為了對信息進行度量，必須對信息下一個確切的定義。香農將信息定義為消息中關於不確定性事物（即原來不知道的東西）的內容。譬如說，有人告訴你一個你已經知道的事情的消息，這個消息中就沒有任何信息。反之，你對被告知的事件在被告知以前知道得越少，則這個消息中的信息量就越大。對一個在給定條件下必定發生的事件或必定不發生的事件，當條件具備時，有人告訴你這個事件發生了（對必定發生的事件）或這個事件沒有發生（對必定不發生的事件），這個消息對你都沒有任何信息。

如果一個事件，在給定條件下可能發生也可能不發生，而其發生具有一定的概率，當條件具備時，有人告訴你這個事件發生了或沒有發生，這個消息對你就含有信息。

三、信息的度量^[1]

按常規辦法，對某個量作定量表示時，往往將它與某一適當的標准進行比較。顯然，這種辦法不適用於信息的定量表示，因而信息的度量成了一個長期沒有解決的問題。而香農卻在這方面作出了重大貢獻，使信息定量化。

根據香農的信息定義，完全撇開信息的具體內容，將信息加以形式化，用概率論的觀點對信息進行定量描述。這樣做的根據是：第一，信宿只是復制信源發出的信號，而不管其內容；第二，在信宿未接收到信源發出的信號以前，信源什麼時間發出信號、發出什麼信號，對信宿而言都是未知的，具有隨機性。因此，信源發送信號對信宿而言可視作一個隨機事件。

設隨機事件A發生的概率為P（A），並有0≤P（A）≤1。若P（A）=1，則A必發生，若P（A）=0，則A必不發生。香農定義事件A的自信息量為

I（A）=-lg（P（A））當P（A）＞0

I（A）=0當P（A）＝0

用對數表示是為了計算簡便，因為如果直接用概率表示，在求幾條消息（或一個系統中的多個事件）的總信息量時，要用乘法，而對數可以變求積為求和。由於隨機事件的概率總小於1，其對數為負值，故在概率的對數前冠以負號，使信息量取正值。

從上式看出，概率小的事件，信息量多。這點在地質找礦中很容易理解：設在一個具m個單元的地區，有n₁個單元上出現地質標志A，在n₂個單元上出現地質標志B，設地質標志B只出現在有礦床或礦化存在的單元，而地質標志A則只出現在有礦床存在的單元。顯然，n₂＞n₁，因而（n₂/m）＞（n₁/m）。當m,n₁及n₂均較大時，B出現的概率P（B）=n₂/m,A出現的概率為P（A）=n₁/m。根據自信息定義公式

I（A）=-lg（P（A）=-lg（n₁/m）＝lgm-lgn₁

I（B）=-lg（P（B）=-lg（N₂/m）＝lgm-lgn₂

因為m＞n₂＞n₁，故

I（A）-I（B）=lgn₂-lgn₁＞0

即地質標志A出現比地質標志B出現提供有礦床存在的信息量大。

因此，這樣定義的信息量，符合將信息定義為消息中關於不確定性的事物（即原來不知道的東西）的內容的要求。

對一組事件S（包含E₁,E₂，…，E_n共n個事件）來說，設事件E_k出現的概率P（E_k）=P_k，定義這組事件的自信息量的統計平均值為

資訊理論、系統論與地質找礦工作

式中

，lgP_k=0當P_k=0。通常把S的自信息量的統計平均值稱S的熵。

對於兩組事件可以定義其互信息量及聯合熵。此時要用到數學中的集合論，故不敘述，有興趣的讀者可參閱有關專著^[1]。

四、資訊理論的發展

狹義資訊理論誕生後，由於推廣應用得到了很大的發展。其發展大致經歷了三個時期：

1.50年代是資訊理論向各門學科沖擊的時期。資訊理論的成就給許多學科帶來了意外的希望。人們試圖把信息概念和方法用來解決本學科面臨的許多未能解決的問題；試圖把資訊理論用於解決語義學、聽覺、神經、生理學及心理學等問題。例如1955年在倫敦舉行的第三屆資訊理論會議，涉及內容非常廣泛，包括解剖學、動物保健學、人類學、計算機、經濟學、電子學、語言學、數學、神經生理學、神經精神學、哲學、語音學、物理學、政治理論、心理學和統計學等。但由於狹義資訊理論存在不考慮信息發送者與接收者雙方關於信息的意義（如信息是否真實）和信息的價值以及不能用來描述模糊信息等局限性，因而在這方面取得的成就不大。

2.60年代，資訊理論是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究的重點是信息和信源編碼問題，雜訊理論問題、信號濾波與預測問題、調制與信息處理問題等。這些就是所謂的一般資訊理論，主要是研究通信問題，也涉及到心理學等。

3.70年代以來，是資訊理論向廣義資訊理論或信息科學發展的時期。資訊理論的這次發展是與世界范圍的新技術革命相聯系的。美國的未來學家阿爾溫·托夫勒（Alvin Toffer）在70年代中期寫了《未來的震盪》一書，論述人類社會未來的發展。1980年他又出版了《第三次浪潮》。他認為第一次浪潮是距今0.8萬～1萬年以前的農業革命，第二次浪潮是從18世紀中葉開始的工業革命，第三次浪潮則是從本世紀40年代開始的「信息革命」。因此，人們越來越認識到信息的重要性，認識到信息可以當作與材料和能源一樣的資源而加以充分利用和共享。資訊理論的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破狹義資訊理論的狹隘范圍，以便使它能成為各種人類活動中所遇到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。70年代以來，許多學者提出了「有效信息」、「廣義有效信息」、「語義信息」、「無概率信息」及「模糊信息」等概念。目前，人們已把早已建立的有關信息的規律與理論廣泛應用於物理學、化學、生物學、心理學及管理學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存貯、處理、顯示、識別和利用的信息科學即廣義資訊理論正在形成。本章以後各節，將結合地質找礦的特點，敘述廣義資訊理論中的一些重要概念。