什么是信息的度量

① 信息量的定义是什么

数据就是信息，
数据的方差显示了数据的集中程度，数据越是集中则说明数据包含的信息越准确密集，这样的话，其实就是信息量越小。
信息量就是方差。可见统计学fisher信息量。

② 信息量的单位

信息量的单位是：Bit

所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数.

香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息愈少.事件出现的概率小，不确定性越多，信息量就大，反之则少。

③ 怎样衡量信息量的大小呢

如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁（即概率大小）成反比。

例题：向空中投掷硬币，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子，则可能会出现的状态有6个，每一个状态出现的概率均为1/6。试通过计算来比较骰子状态的不肯定性与硬币状态的不肯定性的大小。

信息量的简介：

信息量是指信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.香农的奠基性工作开始的。

在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。

④ 一个信源的信息量用什么来度量

信息度量的单位有B、KB、MB、GB、TB

信息量的简介：信息量是指信息多少的量度。 1928 R.V.L. Hartley首先提出了信息量化的初步思想，并将消息的数量定义为信息量。 如果源具有M组，并且每条消息同样可能，则可以表示为i = logm的源的信息量。 然而信息量是深入和系统的研究，还是从1948年C.E.香农的奠基性工作开始的。

在信息理论中，源输出被认为是随机的消息。 也就是说，在未收到消息之前，无法确定发送到结尾的消息。 通信的目的是在收到消息后启用收件人，因此不需要将收件人存在于源的源，因此实际上在通信中传输了前所未有的不确定性的信息量。

⑤ 如何度量信息的存在 为什么信息量的大小与信息的出现概率有关

为了引出后面机器学习的一个算法——决策树，我想先讲点基础知识，那就是信息熵。

信息是一个比较抽象的概念，我们常说某句话信息量很大，或者某句话看不懂在说什么。直观上来说，信息是可以量化的。

生活中有些事情是具有不确定性的，比如说预测明天股票的涨势。假如你告诉我，明天世界杯足球赛要开始了，这两者似乎没有太大的关联，那“世界杯足球赛开始”这条信息对于股票涨势的信息量是很小的。但是，假如世界杯足球赛开始，大家都不关注股票了，那就没有人坐庄，那这条信息的信息量就变大了很多。

而有些事情本来就是具有确定性的，比如太阳从东边升起。假如你告诉我，明天太阳会从东边升起，那这句话就没有什么信息量，因为没有什么比这个更确定的事了。

那么，信息量的大小和什么有关呢？

1、可能出现的结果数量。

2、事件发生的概率。
如果一个事件只有可能，那么无论传递任何信息，都不会带来什么信息量。如果一个事件发生的概率越小，事件发生所带来的信息量就越大，反之亦然。

信息熵的定义：

假设有离散随机变量X={x1,x2,...,Xn}，设pi=P{X=xi}，则有：

I(xi)表示xi的自信息量，即事件xi发生所带来信息量的大小。H(x)为事件X的信息熵，即事件X={x1,x2,...xm}的平均信息量，熵是对信息量的一个期望。

有了信息熵的定义，我们可以解决现实中的许多问题。比如英语中的26个英文字母，假设每个字母出现的概率是相等的，那么其中一个字母的自信息量大小就是：

这个公式以2为底数，对应单位为bit，表示该信息的大小需要多少位二进制数可以衡量。

而对于中文来说，我们常知道的汉子大约有7000多个，假设每个字等概率出现，我们大约需要13个比特来表示一个汉字。但由于每个汉字的使用出现的频率是不一样的，有些常用的词类似“的”出现的频率很高，即使这样每个汉字的信息熵也要 8-9 个比特信息。

这也是为什么英文书翻译成中文，总是厚厚的一本。
用公式来解决具体实际问题——称小球问题。

问题：有10个小球，其中有一个小球偏重，用一个天平，需要至少用多少次天平才能把小球找出来？
这个问题大家也比较熟悉，现在我们利用信息熵公式来解决这种问题。

（1）每次使用天平，都会有三种可能性，左偏，右偏和平衡。而且这三种情况的概率是相等得，即每次使用天平可以得到log3的信息量。

（2）要从10个小球中，取出偏重的小球，每个小球都是等概率的，所以这个事件所携带的信息量是log10。

答案是我们最少需要log10/log3（约等于2.09），所以至少需要3次。