信息熵如何計算

㈠ 求一個計算信息熵的c程序

◢ ██████◣◢████◣
◢◤◥◣◢◤ ◥◣
◤◥◣◢◤█...
▎◢█◣◥◣◢◤◢██
◣◢◤◥◣◢◣◥◣◢◤.
◥██◤◢◤◥◣
█●● █
█〃▄〃█
◥◣╚╩╝◢◤
◥█▅▃▃▃▃▅█◤
◢◤◥◣
██
◢◤▕▎◥◣
▕▃◣◢▅▅▅◣◢▃▕

㈡ 信息熵是什麼

信息是一個非常抽象的概念。人們經常說很多信息，或者更少的信息，但是很難說到底有多少信息。一本50萬字的中文書有多少信息?

提出

直到1948年，香農提出了「信息熵」的概念來解決信息的定量測量。熵這個詞是c。e。香農從熱力學中借用的。熱力學的熱力學熵是分子無序程度的大小。香香的信息熵概念描述了源的不確定性。

我們可以認為信息熵可以從信息傳遞的角度來表示信息的價值。因此，我們可以測量信息的價值，從而對知識流動的問題進行更多的推論。

㈢ 求一個 計算信息熵的C程序

#include <math.h>
#include <stdio.h>

double logn(int n, double x);
double log2(double x);
double self_info(int n, double p);
double self_info2(double p);

void main(){
double p1,p2,k,h;
p1 = 0.01;
p2 = 1 - p1;
h = self_info2(p1)+self_info2(p2);
printf("result is :%f",h);

}

//求以n為底x的對數
double logn(int n, double x){
return log(x)/log(n);
}

//求以2為底x的對數
double log2(double x){
return log(x)/log(2);
}

//求底為n，概率為p的自信息
double self_info(int n, double p){
return -p*logn(n,p);

}

//求底為2，概率為p的自信息
double self_info2(double p){
return -p*log2(p);

}

㈣ 信息熵的計算公式是什麼

信息熵的計算公式為H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C.E.Shannon（香農）從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。

特點：

信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。

但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。

㈤ 急求助：香農（信息）熵的計算~

1948 年，香農提出了「信息熵」 的概念，所以叫香農熵。
香農不是用錢，而是用 「比特」（bit）這個概念來度量信息量。 一個比特是一位二進制數，計算機中的一個位元組是八個比特。在上面的例子中，這條消息的信息量是五比特。 信息量的比特數和所有可能情況的對數函數 log 有關。 (log32=5, log64=6。）
對於任意一個隨機變數 X，它的熵定義如下：
變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
有了「熵」這個概念，我們就可以回答本文開始提出的問題，即一本五十萬字的中文書平均有多少信息量。我們知道常用的漢字（一級二級國標）大約有 7000 字。假如每個字等概率，那麼我們大約需要 13 個比特（即 13 位二進制數）表示一個漢字。但漢字的使用是不平衡的。實際上，前 10% 的漢字占文本的 95% 以上。因此，即使不考慮上下文的相關性，而只考慮每個漢字的獨立的概率，那麼，每個漢字的信息熵大約也只有 8-9 個比特。如果我們再考慮上下文相關性，每個漢字的信息熵只有5比特左右。所以，一本五十萬字的中文書，信息量大約是 250 萬比特。如果用一個好的演算法壓縮一下，整本書可以存成一個 320KB 的文件。如果我們直接用兩位元組的國標編碼存儲這本書，大約需要 1MB 大小，是壓縮文件的三倍。這兩個數量的差距，在資訊理論中稱作「冗餘度」（rendancy)。 需要指出的是我們這里講的 250 萬比特是個平均數，同樣長度的書，所含的信息量可以差很多。如果一本書重復的內容很多，它的信息量就小，冗餘度就大。

㈥ 請問為什麼在計算信息熵的時候要取對數呢

看看定義信息熵的想法:

設對於某個事件 x, 發生的概率是 p(x), 對應的"信息量"是 I(x).
性質
1. p(x) = 0 => I(x) = +\inf (正無窮大)
2. p(x) = 1 => I(x) = 0
3. p(x)>p(y) => I(x)<I(y)
含義是概率為 0 的事件對應的信息量大, 反之信息量少.
我們概率老師舉的例子是: 皇家馬德里與中國隊踢, 那麼皇馬贏的概率...是人都知道...所以沒有信息量(=0). 反之若是中國隊贏了, 這個信息量就大了.
4. I(x)>=0 信息量總是正的.
5. p(x,y)=p(x)p(y) => I(x,y)=I(x)+I(y)
信息量的疊加性, 知道了兩個獨立事件的概率, 相當於知道了兩方的信息(的和)

由以上性質就能決定出 I(x) = -c*ln(p(x)), 其中 c 是某個正常數, 代入就可驗證.

最後的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望, 也就是整個系統的平均信息的多少.

就為什麼要取對數這個問題來說, 最關鍵就是性質 5. 了吧, 對數能把乘積化為求和.

㈦ 求信息熵的計算方法!!

H(x)=lb，應該是求平均互信息熵。

熵的計算

㈧ 如何計算密碼所攜帶的信息熵

可加性與強可加性（涉及到了兩個變數！）H（XY）為兩個隨機變數的聯合熵。可加性：H（XY）等於 X的無條件熵，加上已知 X 時 Y的條件概率的熵的平均值，即條件熵。對於 X 與 Y 獨立的情況有：（強可加性）資訊理論基礎2011年3月教材和參考書傅祖芸編著《資訊理論－基礎理論與應用》，電子工業出版社，2006第二版. 孟慶生《資訊理論》，西安交通大學，1986。（數學家寫的研究生教材，含編碼和密碼）朱雪龍《應用資訊理論基礎》，清華大學出版社,2000。（研究生教材，面向電子類，含編碼方法。王育民、梁傳甲《信息與編碼理論》，西電教材。 （內容深入，推導過程少）沈連豐、葉芝惠編著《資訊理論與編碼》東南大學碩士教材，科學出版社，2004，（面向通信專業）。周蔭清主編《信息理論基礎》北航出版社，2006（簡潔，面向電子類）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清華影印。R. J. McEliece《The Theory of Information and Coding》第二版，電子工業出版社，2003。（內容簡練，編碼方面較全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在廣義資訊理論、網路資訊理論方面的內容有所增加。第一講 1-1 資訊理論的主要內容 1-2 信息的度量－信息熵 1-3 信息熵的性質 信息熵 1－1. 資訊理論的主要內容 香農資訊理論最初是為了解決通信問題而提出的。通信的重要意義是勿庸置疑的。類傳遞思想、表達情感，就需要相互交流。人類的勞動、生產、政治、文化、日常生活等都離不開通信。人類利用眼、耳、鼻、舌、身等五種感覺器官來感受外界的信息，形成一個信息流通的體系。通信方式的不斷提高，代表了人類文明和科技水平的不斷提高。通信的根本任務：將一地點的消息可靠地、有效地傳送到另一地點。信源干擾源信道信宿通信系統的基本模型：為了使消息可靠地、有效地傳送到信宿，就需要對信源的消息進行處理；信源編碼：實現有效性；信道編碼：實現可靠性；密碼：實現保密性及認證性；有沒有可靠的、有效的處理方法？如何進行編碼？香農資訊理論奠定了通信的理論基礎。信息是消息的不確定性度量。某消息出現的概率大，它的信息量就小，相反某消息出現的概率小，則它的信息量就大。通信的關鍵是信息的傳輸問題。 信源，信源，編碼信宿，信道，信道編碼，信道解碼，信源解碼加密鑰，加密解密鑰，解密 干擾源提出的背景：在香農資訊理論出現以前，沒有系統的通信理論。是香農，開創了資訊理論的研究，奠定了一般性通信 理論的基礎。對數字通信技術的形成有很大貢獻。（不論什麼樣的干擾信道，抓住了本質問題Shannon, 1916－2001)「A Mathematical Theory of Communication 」「 Communication Theory of Secrecy System 」 About Claude Elwood Shannon: 1916年生於 Gaylord, MI 的一個小鎮。母親是一個語言教師和中學校長，父親是一個商人。 16歲高中畢業，進入密西根大學。1936年獲得電子工程和數學雙學士學位。隨後進入 MIT，作為研究生和研究人員。

㈨ 請問一幅圖像的信息熵怎麼計算信息熵越大越好分類，還是越小越好分類

公式正確，熵最大時的閾值可以進行閾值分割。詳見最大熵閾值分割。

㈩ 請問文字的信息熵如何計算請給出計算公式。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)