信息论应用有哪些

❶ 《信息论40讲》信息的应用2——大数据和互联网广告

——吴军《信息论40讲》读书笔记

这一部分主要介绍信息论的应用。本节介绍一下大数据和互联网广告。

1、从四个特征把握大数据的本质

美图秀秀修图和使用华为手机照相都是使用大数据的结果。

怎样才能练就一双火眼金睛，判断一个公司是否在真的使用大数据呢？那就从大数据的特征说起。

首先，大数据要求数据量大，这一点大家没有疑问。数据量小一定不符合大数据的原则。至于数据量多大合适，我们在前面介绍了置信度的概念，数据至少要大到让统计的结果具有非常高的置信度。

其次，大数据需要具有多维度的特征，而且各个维度最好是正交的。

第三个特征是数据的完备性。它在过去常常被人忽略，因为人类过去使用数据，都是采用抽样的办法来获取，根本不可能做到完备。今天情况就不同了，因为收集数据的设备无所不在，我们也在有意无意向它输送数据，因此获得完备的信息完全可能，这样一来就堵住了采用数据作预测的死角。

第四个特征是大数据还需要具有实时性，因为在那些应用场景，一定时间过了，数据就失去意义了。

2、在未来的时代，有三类企业会受益于大数据。 大数据的威力大家都看到了，那么可能有人要问，有了大数据，我原来从事的行业是否会消失？其实大部分行业不会很快消失，但是可能会以另一种形式出现。消除数据之间的矛盾，也需要领域知识。因此在一个行业里从业很长时间，具有专业知识的人，不仅不会被大数据取代，而且有可能利用好大数据，在事业上更上一层楼。在未来的时代，有三类企业会受益于大数据。

第一类企业是类似于腾讯、阿里巴巴或者今日头条的公司，它们自己有数据，有技术，有应用场景，不需外人帮忙。

第二类企业有数据没有技术，包括很多大企业，比如移动通讯运营商、传统的银行和零售业等等，它们需要外人帮忙，但是通常出于保护自己利益的考虑，不会和第一类公司合作。这里面的专业人士，就能够解决上面数据冲突，以及将行业内不同维度的数据联系起来的问题。

第三类企业缺乏数据，但是有技术，于是它们需要为第二类企业解决实际问题。当然，在解决问题的过程中，它们或许能够进入很多领域，逐渐成为新的平台性公司，比如美国着名的大数据公司Splunk就是这么一步步发展起来的，它今天的市值高达200亿美元。但是在一开始，这类公司一定是做脏活累活。

3、大数据思维的四个层次

我们过去说，量变会带来质变，那常常是在一个维度上说的，而今天我们说大数据思维，已经超出了这一层含义，是一种全新的思维方式和做事情的方法。

大数据思维的第一层含义：从大量的、看似杂乱无章的数据点，总结出原来找不到的相关性。

大数据思维的第二层含义：不事先作假定，从大数据出发先得到结论，再分析原因。

大数据思维的第三层含义：利用大数据在准确把控宏观规律的同时，精确到每一个细节。

大数据思维的第四层含义：是通过几个维度的强相关性，替代过去的因果关系。

大数据思维的四个层次，它们层层递进，希望大家记在心里，想想自己如何具有大数据思维。

1、Google的广告系统利用的是用户主动输入的信息

用户自己主动输入的信息最为有效，因为任何时候，人总是喜欢买东西，不喜欢被卖东西。任何推送都比不上用户主动的请求更有效。

2、人对各种东西喜好的差异比我们通常想的要小很多

个性化服务的本质就是寻找每一个人和整个群体在喜好上的差异程度，我们可以用交叉熵来定量衡量它。维度分得越细，个性化特点越突出。但是，人对各种东西喜好的差异比我们通常想的要小很多。

今天有很多不重视底层技术和信息理论的创业者，天真地以为自己做了点个性化的事情，就可以对现有的行业竞争者取得碾压性的优势，这只是他们自己的想象。

Google一直强调，没有数据就得不出任何结论，道理是相通的。在信息时代，为什么我们要了解信息论最基本的原理？就是要能够判断做事情的方向是否正确，以免像一些公司那样，死都不知道是怎么死的。

3、使用正交、可叠加信息有很大的作用

这才是Facebook成功的根本原因。

4、离达成交易的环节越短，广告的效果越有效。

大部分媒体，包括门户网站上的信息，只是提供普通信息，它们离购买最远，因此广告的效果最差。社交网络的信息和Google搜索的信息属于第二、第三阶段的，离购买越来越近，广告的效果也就越来越好，电商上的属于最后一环，效果最好。我在很多场合讲，做人做事要直截了当，效果最好，不要拐弯抹角，就是这个道理。

❷ 信息论的主要有哪些内容

1.信息的定义:信息论的鼻祖申农给信息下的定义是:不确定性的排除其实，信息的定义不下200种

2.信息论:信息论是研究信息的本质，并用数学方法研究信息的计量传递变换和存储的一门科学

3.信息的系统性:指信息不是零星的个别的混乱的，而是有一组具有特定内容和性质的信息，在一定条件下为某种目的而形成的有机体，如患者的全部症状智能诊断卡使用中，应该拿着诊断卡从第一项症状直到最后一项症状，一项一项地问诊，从头至尾地建立一个症状的信息系统

4.信息处理:就是数据处理数据处理包括信息的收集加工存储检索传输和显示整个用智能诊断卡诊病过程——取卡问诊打点统计找大逆诊辅检，就是信息处理过程

5.信息价值衡量:信息的价值因人而异，同一信息，对不同的人，不同的地点，价值不同，在智能诊断卡中的分值也不同

❸ 信息论与编码的用途是什么

信息论与编码主要分两部分，前几章主要讲信息方面的，后几章讲编码方面的。那么信息论与编码的用途是什么呢？

1、 信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表《通信中的数学原理》到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。信息论中最着名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G或LTE中广泛用到的MIMO（多输入多输出，或多天线）技术，其理论本质是David Tse提出的该容量与天线数成线性递增的关系（这句话是概述，我凭印象写的）；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。

2、 这门课是比较难，而且国内对信息论的引进也比较晚，更不用说国内学者对信息论的重视程度（几乎没有在该领域出名的国内的学者），但这门课确实是通信的基础，就像欧几里得的几何原本影响了西方学界近2000年一样，信息论在未来几百年内也必将影响通信的发展。

3、 回到实际，要说这门课和专业哪方面联系得比较紧密的话，我觉得，研究物理层（主要是无线通信）、编码（信道编码或图像视频编码）、密码学有必要仔细研究下信息论，其他比如网络层、搞硬件设计、光纤通信等二级学科的话，学习这门课只要了解这四大（或三大）定理即可。

关于信息论与编码的用途是什么的相关内容就介绍到这里了。

❹ 香农信息论的应用范围

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学（政治沟通）
信息论概述
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

❺ 一般的信息论研究的主要内容有哪些

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科.信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容.信息论还研究语义信息、有效信息和模糊信息等方面的问题.信息论有狭义和广义之分.狭义信息论即申农早期的研究成果,它以编码理论为中心,主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等.广义信息论又称信息科学,主要研究以计算机处理为中心的信息处理的基本理论,包括评议、文字的处理、图像识别、学习理论及其各种应用.广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性,它是一种物质系统的特性以一定形式在另一种物质系统中的再现.广义信息论包括了狭义信息论的内容,但其研究范围却比通讯领域广泛得多,是狭义
信息论在各个领域的应用和推广,因此,它的规律也更一般化,适用于各个领域,所以它是一门横断学科.广义信息论,人们也称它为信息科学.
信息和控制是信息科学的基础和核心.70年代以来,电视、数据通信、遥感和生物医学工程的发展,向信息科学提出大量的研究课题,如信息的压缩、增强、恢复等图像处理和传输技术,信息特征的抽取、分类和识别的模式、识别理论和方法,出现了实用的图像处理和模式识别系统.

❻ 信息论是什么

信息论
开放分类： 哲学、信息

总述 （来源: 信息论 南丰公益书院 ）
信息论
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

H = - ∑ pilogpi
i

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。南丰公益书院

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

应用

信息论被广泛应用在：
南丰公益书院

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
信息论第一定律

信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

——摘自《安全科学技术网络全书》（中国劳动社会保障出版社，2003年6月出版）

❼ 信息熵在生活中的应用

信息熵在生活中的应用如下：

1、热力学

熵在热力学中是表征物质状态的参量之一，熵是组成系统的大量微观粒子无序度的量度， 系统越无序、越混乱，就越大。 热力学过程不可逆性的微观本质和统计意义就是系统从有序趋于无序，概率较小的状态趋于概率较大的状态。

2、科学哲学

科学技术上泛指某些物质系统状态的一种量度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。

3、信息论

在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其着作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 他把信息定义为“用来消除不确定性的东西”。

4、生命科学

生命体是一个开放的系统，时刻与外界进行着物质、能量、信息的交换，符合“耗散结构”可以用熵来分析一个生命体从生长、衰老、病死的全过程，用“生命熵”来独立定义。

命熵的内容包含生命现象的时间序、空间结构序与功能序，生命熵变就直接反应这三个序的程度变化之和。

❽ 信息论讲述的是什么问题

信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。信息是一切系统保持一定结构、实现其功能的基础。狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。

❾ 关于信息论，你知道它涉及到哪些领域吗

1.信息的定义：信息论的鼻祖申农给信息下的界定是：不确定性的排除其实，信息的定义下不来200种

2.信息论：信息论是研究信息的本质，并用数学原理研究信息的计量传送转换和存储的一门科学

信息论在各行各业的应用和营销推广，因而，它的规律性也更一般化，适用于各行各业，因此它是一门横断学科。广义信息论，大家也称它为信息科学。

信息和操纵是信息科学的基本和关键。70时代以来，电视机、数据通讯、遥感和生物医学工程项目的发展，向信息科学明确提出大量的研究课题研究，如信息的缩小、提高、修复等图像处理和无线通信技术，信息特点的提取、归类和鉴别的模式、鉴别基础理论和方式，出现了实用的图像处理和计算机视觉系统软件。

❿ 信息论的应用

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学（政治沟通） 信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息是确定性的增加----逆Shannon信息定义；
信息是物质、能量、信息的标示----Wiener信息定义的逆;
信息是事物及其属性标识的集合。 物质、能量与信息是组成世界的三大要素。人们已经很深入地了解了物质与能量，而对信息的认识才刚起步。那么，信息是什么？它又是以何种方式存在的？它有着怎样的作用？以下是我的猜想，希望对人类进一步认识世界有一定帮助。
一、信息的定义
非世界三要素的信息定义:信息是事物及其属性标识的集合。不含世界三要素的的信息定义.
含三要素的信息定义：
1．信息是确定性的增加----逆Shannon信息定义；
2．信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.
信息（information）是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。然而，这只是对于我们所生活的三维空间而言的，信息还有更深藏的本质。那么，难道信息还存在于四维空间（这里所说的四维空间不包括时间，而是空间的四维状态）中吗？是的，但要明确一点，信息只存在于四维空间，三维空间中的信息只是四维空间中真实信息的影子。信息大量存在于四维空间中，其本质是在四维空间中存在的一种信息子（informer，假想的存在于四维空间的组成信息的基本单位）的规则排布。
信息是事件（corritor）发生的根本原因，这将在第三节中细作分析。
二、信息的性质
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
三、信息论机制
在平常状态下，信息子杂乱无章地分布于四维空间中。当三维空间中的分子摩擦碰撞时，其中的能量逃逸到四维空间中，启动了信息子的规则排布，排布好的信息子又将能量释放出来，进入三维空间，引起其他分子的摩擦碰撞，如此循环下去。如果被引起摩擦碰撞的分子恰好是决子（decider，决定事件的因子，如引起神经冲动的钠钾离子、引起雷电的电荷），并且有一定物质的量的决子被引起摩擦碰撞时，事件发生。当然，不同分子摩擦碰撞产生的能量不同，其引起的信息子的排布形式的种类也不同，因而决定的事件也不同。
然而，在宇宙爆炸前只有信息存在，一个决定因素（现在还不了解这个因素是什么）导致了信息子的偶然规则排布，一部分信息子转化为能量（信息子转化为能量是有一定条件的，这只有在宇宙爆炸前或初期才能实现），能量再在一定条件下转化为物质，并继续转移转化，最终形成了我们现在的宇宙。因此，信息子的有序排布是事件发生的根本原因，物质摩擦碰撞是事件发生的直接原因，而能量的传递是事件发生的必要条件。
四、信息论假说的实例
1．思想与记忆：思想是我们一直捉摸不透的东西，而按照信息论假说来讲，思想其实就是一种信息。大脑中的某些特定分子摩擦碰撞，引起了某些信息子的规则排布，在三维空间中的表现就是产生电流，引起脑细胞的活动，这便是思想的本质，当然，不同信息表现出不同思想。然而，这不等于我们的思想是早已限定好了的吗？其实就是这样。只不过我们脑中分子数量是庞大的，其能引起信息子的排布形式的种类是极其多的，我们的思想不过也只开发了很少一部分。现实中我们所谓的思想还要有另一个因素，那就是需要通过一个完整复杂的调节机制将其表达出来，这个调节机制对于人类来说便是神经系统，因此只有我们能将复杂的思想表达出来。记忆是思想的特化，是信息引起摩擦碰撞的分子恰好是以前产生思想的分子（记忆的决子）时，以前的思想便会再次通过特定信息子的规则排布表达出来。这样看来，我们的思想是连续的，前一刻的思想直接决定了后一刻的思想，只是我们并没发觉也没有手段去发现罢了。
2．生命现象：人的生老病死也可以通过信息论假说来解释。人生病其实是不融合分子（细菌或病毒）与体内分子摩擦引起的信息。成长其实是各种各样的外界分子（如钙离子）进入人体内与体内分子摩擦引起的信息。衰老与死亡是细胞内分子摩擦引起的信息，其宏观表现为细胞的衰老与凋亡，进而影响人。
3．预感与巧合：预感是思想的一种极特殊的形式，当脑中某些分子摩擦引起信息子排布后，信息并未释放全部能量，而是只将其中一部分能量先释放出来，引起预感决子的摩擦，剩下的能量则在另外的时刻释放出来，并由于与前一部分能量同源，恰好引起事件决子的摩擦，从而印证了预感。巧合也是一种极特殊的现象，其本质是信息释放的能量分为两半进入到三维空间中的不同地点，引发相同分子的摩擦，从而引起不同地点相同事情的发生，这一般出现在同卵双胞胎身上，因为其基因的相似性决定了其相同分子摩擦的几率较大。
4．梦与不实印象（untrue impressions）：梦是在无意识情况下产生的思想，其本质也是信息。我们平时会产生不实印象，看到某情景感觉以前似乎发生过，可是以前却并没有发生，其实这是因为脑内分子摩擦引起信息，而信息并没有将能量马上释放出来，而是暂时储存起来，当另一时刻又有同样的分子摩擦时，其能量被激活，双倍能量释放出来，其中一半能量使我们思想，另一半能量使我们产生印象，这便是不实印象的本质。
5．化学反应：一切化学反应的本质都是信息。几种分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化学键断裂与形成，完成化学反应。
6．命运与灵魂：古人相信命运，可能是冥冥之中感到在另一空间中我们是早已被安排好的个体，于是出现了人类对灵魂、神的遐想。
五、信息论假说的意义
信息论假说将物质与思想相统一，它是唯物主义发展所必经的一步，它用唯物的观点解释了人类一直无法弄清的问题。它自身只是一个假说，需要人类长时间去探索与证明，它自身也存在缺陷，需要人类的不断发现。也许它本来就是个错误，但它是人类成长的见证，是人类伟大的精神财富。
用信息论假说的观点看问题，可以使人类认识到一个全新的世界，并有助于探索世界更深的本质。它给人类提供了一个丰富的经验，是人类跳出固有思想看问题的典范。总之，不管它是否正确，它都是人类的不朽之作。