信息熵多久學

㈠ 如何理解信息熵

嗯，信息上這個我都覺得好像就是對信息涵蓋儲量的一種存儲能力

㈡ 新聞傳播上的信息熵是什麼

信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機事件的出現概率。所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H. Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。
信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。
熵首先是物理學里的名詞.在傳播中是指信息的不確定性,一則高信息度的信息熵是很低的,低信息度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。

㈢ 信息熵與熱力學熵有什麼區別和聯系

提出熱力學熵(S)第一人是 19 世紀的Rudolf Clausius。熱力學的第二定律描述也跟這個"熵"狀態函數有關。Boltzmann 將宏觀的熵與微觀的狀態數目有了直接的關系，S = k ln w 。這暗示著熵是一系統中次序混亂的參數。而信息熵則是Claude Shannon在 1948 年用於信息科學上的使用，定義為 S_I = - Sum(p_i*ln p_i) 當中的 p_i 為特定狀態的概率。

二者的聯系如下：

1. 如果將"每個狀態有相同的概率"(此為統計力學的基本假設)帶入 信息熵，即 p_i = 1/w 。可以看出 S_I = - Sum( 1/w * ln 1/w ) = ln w 。可以說 信息熵 和 熱力學熵 是等價的，乘上一常數就是一模一樣的了。

二者的區別如下:

1. 熱力學熵 只能看 "熱平衡狀態" 時的狀態，信息熵 因為為概率，沒有此限制。舉個例子，兩不同溫度的物體接觸後達到熱平衡，此為不可逆的過程。熱力學熵 只能算整個系統達到熱平衡的熵變，信息熵 可以算整個過程的熵變化。

2. 在微觀量子過程中，描述一系統的好方法是"密度矩陣"，而不是波函數。在這里跟信息熵 所使用的"概率"語言，可以完全連接上。 S = -k Sum(pho*ln pho) 這里的 pho 則是密度矩陣。

因此，信息熵 比熱力學熵 適用性更高。

㈣ 信息熵是什麼

信息是一個非常抽象的概念。人們經常說很多信息，或者更少的信息，但是很難說到底有多少信息。一本50萬字的中文書有多少信息?

提出

直到1948年，香農提出了「信息熵」的概念來解決信息的定量測量。熵這個詞是c。e。香農從熱力學中借用的。熱力學的熱力學熵是分子無序程度的大小。香香的信息熵概念描述了源的不確定性。

我們可以認為信息熵可以從信息傳遞的角度來表示信息的價值。因此，我們可以測量信息的價值，從而對知識流動的問題進行更多的推論。

㈤ 信息熵是指什麼，

信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。
信息理論的鼻祖之一Claude
E.
Shannon把信息（熵）定義為離散隨機事件的出現概率。所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles
H.
Bennett對Maxwell's
Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。
熵首先是物理學里的名詞.在傳播中是指信息的不確定性,一則高信息度的信息熵是很低的,低信息度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。

㈥ 什麼是信息熵

信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。
直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。
資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。
資訊理論之父 C. E. Shannon 在 1948 年發表的論文「通信的數學理論（ A Mathematical Theory of Communication ）」中， Shannon 指出，任何信息都存在冗餘，冗餘大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關。
Shannon 借鑒了熱力學的概念，把信息中排除了冗餘後的平均信息量稱為「信息熵」，並給出了計算信息熵的數學表達式。

㈦ 信息熵怎麼理解

現代定義信息是物質、能量、信息及其屬性的標示。【逆維納信息定義】信息是確定性的增加。【逆香農信息定義】信息是事物現象及其屬性標識的集合。【2002年】最初定義信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機事件的出現概率。所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H. Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。

㈧ 信息熵的計算公式，麻煩通俗地講一下。

信息熵的計算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是數學方法和語言文字學的結合，基本計算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某種語言文字的字元出現的概率，LOG2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。信息熵值就是信息熵的數值。

(8)信息熵多久學擴展閱讀：

信息熵的相關介紹：

一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。不確定性函數f是概率P的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和。

人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。

直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。

㈨ 信息熵的定義是

所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。

根據Charles H. Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。

一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。

(9)信息熵多久學擴展閱讀

應用：

信息如果持續保持混亂，沒有系統化，那麼結果就是信息死亡，信息熵是解決信息處理的問題，如信息的數量變化，產生的冗餘信息統計，從熵增定律來看，信息從A到B的傳遞，類似於能量守恆定律，總量是不變的，但會產生冗餘。

人們經常會對一條信息跟帖、轉發和收藏，這些行為就是在信息傳遞過程中的動能，結果是信息冗餘越來越多，反而信息本身被關注越來越少，所以信息其實就是一個本身不斷降維和冗餘不斷升維的過程，當冗餘超過信息本身時，這條信息已經不重要了，或者從熵的角度定義為信息熵死。