信息熵多久学

㈠ 如何理解信息熵

嗯，信息上这个我都觉得好像就是对信息涵盖储量的一种存储能力

㈡ 新闻传播上的信息熵是什么

信息理论的鼻祖之一Claude E. Shannon把信息（熵）定义为离散随机事件的出现概率。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
信息熵的计算是非常复杂的。而具有多重前置条件的信息，更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。但因为信息熵和热力学熵的紧密相关性，所以信息熵是可以在衰减的过程中被测定出来的。因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值（负熵）的情况下，传播得越广、流传时间越长的信息越有价值。
熵首先是物理学里的名词.在传播中是指信息的不确定性,一则高信息度的信息熵是很低的,低信息度的熵则高。具体说来，凡是导致随机事件集合的肯定性，组织性，法则性或有序性等增加或减少的活动过程，都可以用信息熵的改变量这个统一的标尺来度量。

㈢ 信息熵与热力学熵有什么区别和联系

提出热力学熵(S)第一人是 19 世纪的Rudolf Clausius。热力学的第二定律描述也跟这个"熵"状态函数有关。Boltzmann 将宏观的熵与微观的状态数目有了直接的关系，S = k ln w 。这暗示着熵是一系统中次序混乱的参数。而信息熵则是Claude Shannon在 1948 年用于信息科学上的使用，定义为 S_I = - Sum(p_i*ln p_i) 当中的 p_i 为特定状态的概率。

二者的联系如下：

1. 如果将"每个状态有相同的概率"(此为统计力学的基本假设)带入 信息熵，即 p_i = 1/w 。可以看出 S_I = - Sum( 1/w * ln 1/w ) = ln w 。可以说 信息熵 和 热力学熵 是等价的，乘上一常数就是一模一样的了。

二者的区别如下:

1. 热力学熵 只能看 "热平衡状态" 时的状态，信息熵 因为为概率，没有此限制。举个例子，两不同温度的物体接触后达到热平衡，此为不可逆的过程。热力学熵 只能算整个系统达到热平衡的熵变，信息熵 可以算整个过程的熵变化。

2. 在微观量子过程中，描述一系统的好方法是"密度矩阵"，而不是波函数。在这里跟信息熵 所使用的"概率"语言，可以完全连接上。 S = -k Sum(pho*ln pho) 这里的 pho 则是密度矩阵。

因此，信息熵 比热力学熵 适用性更高。

㈣ 信息熵是什么

信息是一个非常抽象的概念。人们经常说很多信息，或者更少的信息，但是很难说到底有多少信息。一本50万字的中文书有多少信息?

提出

直到1948年，香农提出了“信息熵”的概念来解决信息的定量测量。熵这个词是c。e。香农从热力学中借用的。热力学的热力学熵是分子无序程度的大小。香香的信息熵概念描述了源的不确定性。

我们可以认为信息熵可以从信息传递的角度来表示信息的价值。因此，我们可以测量信息的价值，从而对知识流动的问题进行更多的推论。

㈤ 信息熵是指什么，

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
信息理论的鼻祖之一Claude
E.
Shannon把信息（熵）定义为离散随机事件的出现概率。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles
H.
Bennett对Maxwell's
Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
熵首先是物理学里的名词.在传播中是指信息的不确定性,一则高信息度的信息熵是很低的,低信息度的熵则高。具体说来，凡是导致随机事件集合的肯定性，组织性，法则性或有序性等增加或减少的活动过程，都可以用信息熵的改变量这个统一的标尺来度量。

㈥ 什么是信息熵

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

㈦ 信息熵怎么理解

现代定义信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】信息是确定性的增加。【逆香农信息定义】信息是事物现象及其属性标识的集合。【2002年】最初定义信息理论的鼻祖之一Claude E. Shannon把信息（熵）定义为离散随机事件的出现概率。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。

㈧ 信息熵的计算公式，麻烦通俗地讲一下。

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是数学方法和语言文字学的结合，基本计算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某种语言文字的字符出现的概率，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

(8)信息熵多久学扩展阅读：

信息熵的相关介绍：

一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和。

人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

㈨ 信息熵的定义是

所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。

根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。

(9)信息熵多久学扩展阅读

应用：

信息如果持续保持混乱，没有系统化，那么结果就是信息死亡，信息熵是解决信息处理的问题，如信息的数量变化，产生的冗余信息统计，从熵增定律来看，信息从A到B的传递，类似于能量守恒定律，总量是不变的，但会产生冗余。

人们经常会对一条信息跟帖、转发和收藏，这些行为就是在信息传递过程中的动能，结果是信息冗余越来越多，反而信息本身被关注越来越少，所以信息其实就是一个本身不断降维和冗余不断升维的过程，当冗余超过信息本身时，这条信息已经不重要了，或者从熵的角度定义为信息熵死。