信息熵如何计算

㈠ 求一个计算信息熵的c程序

◢ ██████◣◢████◣
◢◤◥◣◢◤ ◥◣
◤◥◣◢◤█...
▎◢█◣◥◣◢◤◢██
◣◢◤◥◣◢◣◥◣◢◤.
◥██◤◢◤◥◣
█●● █
█〃▄〃█
◥◣╚╩╝◢◤
◥█▅▃▃▃▃▅█◤
◢◤◥◣
██
◢◤▕▎◥◣
▕▃◣◢▅▅▅◣◢▃▕

㈡ 信息熵是什么

信息是一个非常抽象的概念。人们经常说很多信息，或者更少的信息，但是很难说到底有多少信息。一本50万字的中文书有多少信息?

提出

直到1948年，香农提出了“信息熵”的概念来解决信息的定量测量。熵这个词是c。e。香农从热力学中借用的。热力学的热力学熵是分子无序程度的大小。香香的信息熵概念描述了源的不确定性。

我们可以认为信息熵可以从信息传递的角度来表示信息的价值。因此，我们可以测量信息的价值，从而对知识流动的问题进行更多的推论。

㈢ 求一个 计算信息熵的C程序

#include <math.h>
#include <stdio.h>

double logn(int n, double x);
double log2(double x);
double self_info(int n, double p);
double self_info2(double p);

void main(){
double p1,p2,k,h;
p1 = 0.01;
p2 = 1 - p1;
h = self_info2(p1)+self_info2(p2);
printf("result is :%f",h);

}

//求以n为底x的对数
double logn(int n, double x){
return log(x)/log(n);
}

//求以2为底x的对数
double log2(double x){
return log(x)/log(2);
}

//求底为n，概率为p的自信息
double self_info(int n, double p){
return -p*logn(n,p);

}

//求底为2，概率为p的自信息
double self_info2(double p){
return -p*log2(p);

}

㈣ 信息熵的计算公式是什么

信息熵的计算公式为H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

特点：

信息熵的计算是非常复杂的。而具有多重前置条件的信息，更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。

但因为信息熵和热力学熵的紧密相关性，所以信息熵是可以在衰减的过程中被测定出来的。因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值（负熵）的情况下，传播得越广、流传时间越长的信息越有价值。

㈤ 急求助：香农（信息）熵的计算~

1948 年，香农提出了“信息熵” 的概念，所以叫香农熵。
香农不是用钱，而是用 “比特”（bit）这个概念来度量信息量。 一个比特是一位二进制数，计算机中的一个字节是八个比特。在上面的例子中，这条消息的信息量是五比特。 信息量的比特数和所有可能情况的对数函数 log 有关。 (log32=5, log64=6。）
对于任意一个随机变量 X，它的熵定义如下：
变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
有了“熵”这个概念，我们就可以回答本文开始提出的问题，即一本五十万字的中文书平均有多少信息量。我们知道常用的汉字（一级二级国标）大约有 7000 字。假如每个字等概率，那么我们大约需要 13 个比特（即 13 位二进制数）表示一个汉字。但汉字的使用是不平衡的。实际上，前 10% 的汉字占文本的 95% 以上。因此，即使不考虑上下文的相关性，而只考虑每个汉字的独立的概率，那么，每个汉字的信息熵大约也只有 8-9 个比特。如果我们再考虑上下文相关性，每个汉字的信息熵只有5比特左右。所以，一本五十万字的中文书，信息量大约是 250 万比特。如果用一个好的算法压缩一下，整本书可以存成一个 320KB 的文件。如果我们直接用两字节的国标编码存储这本书，大约需要 1MB 大小，是压缩文件的三倍。这两个数量的差距，在信息论中称作“冗余度”（rendancy)。 需要指出的是我们这里讲的 250 万比特是个平均数，同样长度的书，所含的信息量可以差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。

㈥ 请问为什么在计算信息熵的时候要取对数呢

看看定义信息熵的想法:

设对于某个事件 x, 发生的概率是 p(x), 对应的"信息量"是 I(x).
性质
1. p(x) = 0 => I(x) = +\inf (正无穷大)
2. p(x) = 1 => I(x) = 0
3. p(x)>p(y) => I(x)<I(y)
含义是概率为 0 的事件对应的信息量大, 反之信息量少.
我们概率老师举的例子是: 皇家马德里与中国队踢, 那么皇马赢的概率...是人都知道...所以没有信息量(=0). 反之若是中国队赢了, 这个信息量就大了.
4. I(x)>=0 信息量总是正的.
5. p(x,y)=p(x)p(y) => I(x,y)=I(x)+I(y)
信息量的叠加性, 知道了两个独立事件的概率, 相当于知道了两方的信息(的和)

由以上性质就能决定出 I(x) = -c*ln(p(x)), 其中 c 是某个正常数, 代入就可验证.

最后的信息熵公式 - sum p[i] * ln(p[i]) 可以看作 ln(p) 的期望, 也就是整个系统的平均信息的多少.

就为什么要取对数这个问题来说, 最关键就是性质 5. 了吧, 对数能把乘积化为求和.

㈦ 求信息熵的计算方法!!

H(x)=lb，应该是求平均互信息熵。

熵的计算

㈧ 如何计算密码所携带的信息熵

可加性与强可加性（涉及到了两个变量！）H（XY）为两个随机变量的联合熵。可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。对于 X 与 Y 独立的情况有：（强可加性）信息论基础2011年3月教材和参考书傅祖芸编着《信息论－基础理论与应用》，电子工业出版社，2006第二版. 孟庆生《信息论》，西安交通大学，1986。（数学家写的研究生教材，含编码和密码）朱雪龙《应用信息论基础》，清华大学出版社,2000。（研究生教材，面向电子类，含编码方法。王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少）沈连丰、叶芝惠编着《信息论与编码》东南大学硕士教材，科学出版社，2004，（面向通信专业）。周荫清主编《信息理论基础》北航出版社，2006（简洁，面向电子类）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清华影印。R. J. McEliece《The Theory of Information and Coding》第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在广义信息论、网络信息论方面的内容有所增加。第一讲 1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质 信息熵 1－1. 信息论的主要内容 香农信息论最初是为了解决通信问题而提出的。通信的重要意义是勿庸置疑的。类传递思想、表达情感，就需要相互交流。人类的劳动、生产、政治、文化、日常生活等都离不开通信。人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。通信方式的不断提高，代表了人类文明和科技水平的不断提高。通信的根本任务：将一地点的消息可靠地、有效地传送到另一地点。信源干扰源信道信宿通信系统的基本模型：为了使消息可靠地、有效地传送到信宿，就需要对信源的消息进行处理；信源编码：实现有效性；信道编码：实现可靠性；密码：实现保密性及认证性；有没有可靠的、有效的处理方法？如何进行编码？香农信息论奠定了通信的理论基础。信息是消息的不确定性度量。某消息出现的概率大，它的信息量就小，相反某消息出现的概率小，则它的信息量就大。通信的关键是信息的传输问题。 信源，信源，编码信宿，信道，信道编码，信道译码，信源译码加密钥，加密解密钥，解密 干扰源提出的背景：在香农信息论出现以前，没有系统的通信理论。是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。（不论什么样的干扰信道，抓住了本质问题Shannon, 1916－2001)“A Mathematical Theory of Communication ”“ Communication Theory of Secrecy System ” About Claude Elwood Shannon: 1916年生于 Gaylord, MI 的一个小镇。母亲是一个语言教师和中学校长，父亲是一个商人。 16岁高中毕业，进入密西根大学。1936年获得电子工程和数学双学士学位。随后进入 MIT，作为研究生和研究人员。

㈨ 请问一幅图像的信息熵怎么计算信息熵越大越好分类，还是越小越好分类

公式正确，熵最大时的阈值可以进行阈值分割。详见最大熵阈值分割。

㈩ 请问文字的信息熵如何计算请给出计算公式。

H(x)=E[I(xi)]=E[log2 1/p(xi)]=-ξp(xi)log2 p(xi)(i=1,2,..n)