信息熵怎麼計算

① 已知圖像的灰度直方圖呈正態分布，求其信息熵

正態分布的信息熵H＝-∫P(x)lnP(x) dx

② 信息熵是什麼

信息是一個非常抽象的概念。人們經常說很多信息，或者更少的信息，但是很難說到底有多少信息。一本50萬字的中文書有多少信息?

提出

直到1948年，香農提出了「信息熵」的概念來解決信息的定量測量。熵這個詞是c。e。香農從熱力學中借用的。熱力學的熱力學熵是分子無序程度的大小。香香的信息熵概念描述了源的不確定性。

我們可以認為信息熵可以從信息傳遞的角度來表示信息的價值。因此，我們可以測量信息的價值，從而對知識流動的問題進行更多的推論。

③ 離散數據的信息熵計算怎麼確定bin的大小

信息熵也是有值的，可以計算的，信息熵用 bit（比特）為單位，計算公式如下，其中 P 是概率質量函數。
?
_跏甲刺攏雜謖湃此擔『煜不墩餿隼裎鐧母怕識際? 1/3，所以此時 P(x) = 1/3，信息熵可以用如下公式計算：
?
_(x)=1/3*log(3)+1/3*log(3)+1/3*log(3)
?
?=1.56
?
_庖簿褪撬的殼暗男畔八亍?

④ 信息熵 計算 等比數列 等比數列 {1/2,1/4,1/8,……}的信息熵是多少

信息熵公式：H(X)=-∑P(X)log(2)[P(X)] log(2) 表示以2為底的對數
按題意 P(X)=a（n）=（1/2）^n
所以 H(X)=H(n)=-∑（1/2）^n*log(2)( 1/2)^n=∑n（1/2）^n ①
下面用錯位相乘法求H(X)
等式兩邊同乘以1/2 得到 ½*H(n)=1/2*∑n（1/2）^n =∑n（1/2）^（n+1） ②
① –② 得到1/2*H（n）=[∑（1/2）^n]-n(1/2)^( n+1)=1-(1/2)^n-n(1/2)^(n+1)
得到 H(n)=2-(1/2)^(n-1)-n(1/2)^n
若為無窮數列,令n→∞,H(n)→2

⑤ 信息熵的計算公式是什麼

信息熵的計算公式為H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C.E.Shannon（香農）從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。

特點：

信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。

但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。

⑥ 如何計算密碼所攜帶的信息熵

可加性與強可加性（涉及到了兩個變數！）H（XY）為兩個隨機變數的聯合熵。可加性：H（XY）等於 X的無條件熵，加上已知 X 時 Y的條件概率的熵的平均值，即條件熵。對於 X 與 Y 獨立的情況有：（強可加性）資訊理論基礎2011年3月教材和參考書傅祖芸編著《資訊理論－基礎理論與應用》，電子工業出版社，2006第二版. 孟慶生《資訊理論》，西安交通大學，1986。（數學家寫的研究生教材，含編碼和密碼）朱雪龍《應用資訊理論基礎》，清華大學出版社,2000。（研究生教材，面向電子類，含編碼方法。王育民、梁傳甲《信息與編碼理論》，西電教材。 （內容深入，推導過程少）沈連豐、葉芝惠編著《資訊理論與編碼》東南大學碩士教材，科學出版社，2004，（面向通信專業）。周蔭清主編《信息理論基礎》北航出版社，2006（簡潔，面向電子類）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清華影印。R. J. McEliece《The Theory of Information and Coding》第二版，電子工業出版社，2003。（內容簡練，編碼方面較全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在廣義資訊理論、網路資訊理論方面的內容有所增加。第一講 1-1 資訊理論的主要內容 1-2 信息的度量－信息熵 1-3 信息熵的性質 信息熵 1－1. 資訊理論的主要內容 香農資訊理論最初是為了解決通信問題而提出的。通信的重要意義是勿庸置疑的。類傳遞思想、表達情感，就需要相互交流。人類的勞動、生產、政治、文化、日常生活等都離不開通信。人類利用眼、耳、鼻、舌、身等五種感覺器官來感受外界的信息，形成一個信息流通的體系。通信方式的不斷提高，代表了人類文明和科技水平的不斷提高。通信的根本任務：將一地點的消息可靠地、有效地傳送到另一地點。信源干擾源信道信宿通信系統的基本模型：為了使消息可靠地、有效地傳送到信宿，就需要對信源的消息進行處理；信源編碼：實現有效性；信道編碼：實現可靠性；密碼：實現保密性及認證性；有沒有可靠的、有效的處理方法？如何進行編碼？香農資訊理論奠定了通信的理論基礎。信息是消息的不確定性度量。某消息出現的概率大，它的信息量就小，相反某消息出現的概率小，則它的信息量就大。通信的關鍵是信息的傳輸問題。 信源，信源，編碼信宿，信道，信道編碼，信道解碼，信源解碼加密鑰，加密解密鑰，解密 干擾源提出的背景：在香農資訊理論出現以前，沒有系統的通信理論。是香農，開創了資訊理論的研究，奠定了一般性通信 理論的基礎。對數字通信技術的形成有很大貢獻。（不論什麼樣的干擾信道，抓住了本質問題Shannon, 1916－2001)「A Mathematical Theory of Communication 」「 Communication Theory of Secrecy System 」 About Claude Elwood Shannon: 1916年生於 Gaylord, MI 的一個小鎮。母親是一個語言教師和中學校長，父親是一個商人。 16歲高中畢業，進入密西根大學。1936年獲得電子工程和數學雙學士學位。隨後進入 MIT，作為研究生和研究人員。

⑦ 信息熵是什麼

信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機事件的出現概率。所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H. Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。
信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。
熵首先是物理學里的名詞.在傳播中是指信息的不確定性,一則高信息度的信息熵是很低的,低信息度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。

⑧ 請問一幅圖像的信息熵怎麼計算信息熵越大越好分類，還是越小越好分類

公式正確，熵最大時的閾值可以進行閾值分割。詳見最大熵閾值分割。

⑨ 請問文字的信息熵如何計算請給出計算公式。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)