信息论有哪些比较有意思的应用

① 香农信息论的应用范围

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学（政治沟通）
信息论概述
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

② 信息论的应用

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学（政治沟通） 信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息是确定性的增加----逆Shannon信息定义；
信息是物质、能量、信息的标示----Wiener信息定义的逆;
信息是事物及其属性标识的集合。 物质、能量与信息是组成世界的三大要素。人们已经很深入地了解了物质与能量，而对信息的认识才刚起步。那么，信息是什么？它又是以何种方式存在的？它有着怎样的作用？以下是我的猜想，希望对人类进一步认识世界有一定帮助。
一、信息的定义
非世界三要素的信息定义:信息是事物及其属性标识的集合。不含世界三要素的的信息定义.
含三要素的信息定义：
1．信息是确定性的增加----逆Shannon信息定义；
2．信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.
信息（information）是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。然而，这只是对于我们所生活的三维空间而言的，信息还有更深藏的本质。那么，难道信息还存在于四维空间（这里所说的四维空间不包括时间，而是空间的四维状态）中吗？是的，但要明确一点，信息只存在于四维空间，三维空间中的信息只是四维空间中真实信息的影子。信息大量存在于四维空间中，其本质是在四维空间中存在的一种信息子（informer，假想的存在于四维空间的组成信息的基本单位）的规则排布。
信息是事件（corritor）发生的根本原因，这将在第三节中细作分析。
二、信息的性质
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
三、信息论机制
在平常状态下，信息子杂乱无章地分布于四维空间中。当三维空间中的分子摩擦碰撞时，其中的能量逃逸到四维空间中，启动了信息子的规则排布，排布好的信息子又将能量释放出来，进入三维空间，引起其他分子的摩擦碰撞，如此循环下去。如果被引起摩擦碰撞的分子恰好是决子（decider，决定事件的因子，如引起神经冲动的钠钾离子、引起雷电的电荷），并且有一定物质的量的决子被引起摩擦碰撞时，事件发生。当然，不同分子摩擦碰撞产生的能量不同，其引起的信息子的排布形式的种类也不同，因而决定的事件也不同。
然而，在宇宙爆炸前只有信息存在，一个决定因素（现在还不了解这个因素是什么）导致了信息子的偶然规则排布，一部分信息子转化为能量（信息子转化为能量是有一定条件的，这只有在宇宙爆炸前或初期才能实现），能量再在一定条件下转化为物质，并继续转移转化，最终形成了我们现在的宇宙。因此，信息子的有序排布是事件发生的根本原因，物质摩擦碰撞是事件发生的直接原因，而能量的传递是事件发生的必要条件。
四、信息论假说的实例
1．思想与记忆：思想是我们一直捉摸不透的东西，而按照信息论假说来讲，思想其实就是一种信息。大脑中的某些特定分子摩擦碰撞，引起了某些信息子的规则排布，在三维空间中的表现就是产生电流，引起脑细胞的活动，这便是思想的本质，当然，不同信息表现出不同思想。然而，这不等于我们的思想是早已限定好了的吗？其实就是这样。只不过我们脑中分子数量是庞大的，其能引起信息子的排布形式的种类是极其多的，我们的思想不过也只开发了很少一部分。现实中我们所谓的思想还要有另一个因素，那就是需要通过一个完整复杂的调节机制将其表达出来，这个调节机制对于人类来说便是神经系统，因此只有我们能将复杂的思想表达出来。记忆是思想的特化，是信息引起摩擦碰撞的分子恰好是以前产生思想的分子（记忆的决子）时，以前的思想便会再次通过特定信息子的规则排布表达出来。这样看来，我们的思想是连续的，前一刻的思想直接决定了后一刻的思想，只是我们并没发觉也没有手段去发现罢了。
2．生命现象：人的生老病死也可以通过信息论假说来解释。人生病其实是不融合分子（细菌或病毒）与体内分子摩擦引起的信息。成长其实是各种各样的外界分子（如钙离子）进入人体内与体内分子摩擦引起的信息。衰老与死亡是细胞内分子摩擦引起的信息，其宏观表现为细胞的衰老与凋亡，进而影响人。
3．预感与巧合：预感是思想的一种极特殊的形式，当脑中某些分子摩擦引起信息子排布后，信息并未释放全部能量，而是只将其中一部分能量先释放出来，引起预感决子的摩擦，剩下的能量则在另外的时刻释放出来，并由于与前一部分能量同源，恰好引起事件决子的摩擦，从而印证了预感。巧合也是一种极特殊的现象，其本质是信息释放的能量分为两半进入到三维空间中的不同地点，引发相同分子的摩擦，从而引起不同地点相同事情的发生，这一般出现在同卵双胞胎身上，因为其基因的相似性决定了其相同分子摩擦的几率较大。
4．梦与不实印象（untrue impressions）：梦是在无意识情况下产生的思想，其本质也是信息。我们平时会产生不实印象，看到某情景感觉以前似乎发生过，可是以前却并没有发生，其实这是因为脑内分子摩擦引起信息，而信息并没有将能量马上释放出来，而是暂时储存起来，当另一时刻又有同样的分子摩擦时，其能量被激活，双倍能量释放出来，其中一半能量使我们思想，另一半能量使我们产生印象，这便是不实印象的本质。
5．化学反应：一切化学反应的本质都是信息。几种分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化学键断裂与形成，完成化学反应。
6．命运与灵魂：古人相信命运，可能是冥冥之中感到在另一空间中我们是早已被安排好的个体，于是出现了人类对灵魂、神的遐想。
五、信息论假说的意义
信息论假说将物质与思想相统一，它是唯物主义发展所必经的一步，它用唯物的观点解释了人类一直无法弄清的问题。它自身只是一个假说，需要人类长时间去探索与证明，它自身也存在缺陷，需要人类的不断发现。也许它本来就是个错误，但它是人类成长的见证，是人类伟大的精神财富。
用信息论假说的观点看问题，可以使人类认识到一个全新的世界，并有助于探索世界更深的本质。它给人类提供了一个丰富的经验，是人类跳出固有思想看问题的典范。总之，不管它是否正确，它都是人类的不朽之作。

③ 什么是信息论

作为广义的系统论中的一部分，信息论最初是一门比较实用的科学，它是在研究通讯过程中的信息传输问题上发展起来的。
信息论的创始人申农，是美国贝尔电话研究所的数学家。早在1940年，申农就开始研究通讯中的信息传递问题。当时的中心问题是信息源发出消息后，怎样通过信息传递渠道到达信息接收器的问题。围绕此问题，在1948年，申农发表了《通讯的数学基础》一文，它正式奠定了现代信息论的基础。
申农第一次从理论上阐明了通讯的基本问题是信息传递问题，并提出了通讯系统的模型。他还创立了度量信息量的数学公式，并初步解决了如何从信息接收端提取信息源发来的消息的技术问题。申农还研究了如何充分利用信息传输道的信息容量，如何在有限的信息传输道中以最大的速率传递最大的信息量的基本途径。同时，他还初步解决了如何编、译才能使信息源的信息充分表达，信息传输的容量被充分利用的问题。
申农创立信息论后，又与魏沃尔合作写了《信息论》一书。魏沃尔把通讯问题分成三个方面：（1）技术问题，就是解决如何精确地传送通信符号。（2）语义问题，就是解决如何使传送的符号精确地表达语义。（3）有效性问题，就是解决怎样使收信者收到语义，按需要的方式有效地发挥作用。他认为申农的工作属于技术问题，并没有解决后两个问题。实际上，信息的传递几乎存在于一切过程中。从此，信息论被各个学科领域所引进并应用。
信息产业我们知道，信息、物质、能量是人类赖以生存和发展所不可缺少的三项基本资源，尤其是当今，随着科学技术的飞速发展，人类社会已经进入到信息化社会，信息已经成为现代社会的重要组成部分，是国民经济的重要支柱，对信息资源的开发和利用在很多国家已经成为一种产业——信息产业，并成为国民经济的一个重要增长点。
信息产业最初是随着计算机的开发利用，促进信息的生产、流通与应用向产业方面发展而出现的。最早人们把计算机产业、信息处理产业和信息媒介产业合称为信息产业，后来有人把信息传播报道业、信息流通业、知识产业等也归到信息产业内。一般认为，信息产业主要包括以下几部分：
1．计算机产业。从20世纪40年代电子管计算机的诞生，到今天超大规模集成电路计算机的问世，独立的计算机产业体系已经形成，并在国民经济中占重要地位。
2．软件产业。一般是指为有效地利用计算机而编制程序的产业，如程序编制业、数据库业、信息系统开发业等。
3．信息传播媒介业（即通信产业）。包括电话产业、电报产业、广播及电视产业、数字通信业、光纤通信业、卫星通信业等。
4．信息服务业。包括新闻报道采访业、出版业、咨询业、情报业等等。
当社会发展到现阶段，特别是在计算机得到普及和广泛应用、通信技术得到飞速发展时，计算机与通信技术相互渗透，形成了计算机网络的大发展，进一步推动了信息产业的突飞猛进，并使之成为国民经济的重要支柱产业。
知识点
信息产业的核心作用
信息产业是推进国家信息化、促进国民经济增长方式转变的核心产业。这一作用体现在3个方面：(1)通信网络和信息技术装备是国家信息化的物质基础和主要动力。(2)信息技术的普及和信息产品的广泛应用，将推动社会生产、生活方式的转型。(3)信息产业的发展大量降低物资消耗和交易成本，对实现我国经济增长方式向节约资源、保护环境、促进可持续发展的内涵集约型方式转变具有重要推动作用。

④ 信息论与编码的用途是什么

信息论与编码主要分两部分，前几章主要讲信息方面的，后几章讲编码方面的。那么信息论与编码的用途是什么呢？

1、 信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表《通信中的数学原理》到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。信息论中最着名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G或LTE中广泛用到的MIMO（多输入多输出，或多天线）技术，其理论本质是David Tse提出的该容量与天线数成线性递增的关系（这句话是概述，我凭印象写的）；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。

2、 这门课是比较难，而且国内对信息论的引进也比较晚，更不用说国内学者对信息论的重视程度（几乎没有在该领域出名的国内的学者），但这门课确实是通信的基础，就像欧几里得的几何原本影响了西方学界近2000年一样，信息论在未来几百年内也必将影响通信的发展。

3、 回到实际，要说这门课和专业哪方面联系得比较紧密的话，我觉得，研究物理层（主要是无线通信）、编码（信道编码或图像视频编码）、密码学有必要仔细研究下信息论，其他比如网络层、搞硬件设计、光纤通信等二级学科的话，学习这门课只要了解这四大（或三大）定理即可。

关于信息论与编码的用途是什么的相关内容就介绍到这里了。

⑤ 《信息论40讲》信息的应用2——大数据和互联网广告

——吴军《信息论40讲》读书笔记

这一部分主要介绍信息论的应用。本节介绍一下大数据和互联网广告。

1、从四个特征把握大数据的本质

美图秀秀修图和使用华为手机照相都是使用大数据的结果。

怎样才能练就一双火眼金睛，判断一个公司是否在真的使用大数据呢？那就从大数据的特征说起。

首先，大数据要求数据量大，这一点大家没有疑问。数据量小一定不符合大数据的原则。至于数据量多大合适，我们在前面介绍了置信度的概念，数据至少要大到让统计的结果具有非常高的置信度。

其次，大数据需要具有多维度的特征，而且各个维度最好是正交的。

第三个特征是数据的完备性。它在过去常常被人忽略，因为人类过去使用数据，都是采用抽样的办法来获取，根本不可能做到完备。今天情况就不同了，因为收集数据的设备无所不在，我们也在有意无意向它输送数据，因此获得完备的信息完全可能，这样一来就堵住了采用数据作预测的死角。

第四个特征是大数据还需要具有实时性，因为在那些应用场景，一定时间过了，数据就失去意义了。

2、在未来的时代，有三类企业会受益于大数据。 大数据的威力大家都看到了，那么可能有人要问，有了大数据，我原来从事的行业是否会消失？其实大部分行业不会很快消失，但是可能会以另一种形式出现。消除数据之间的矛盾，也需要领域知识。因此在一个行业里从业很长时间，具有专业知识的人，不仅不会被大数据取代，而且有可能利用好大数据，在事业上更上一层楼。在未来的时代，有三类企业会受益于大数据。

第一类企业是类似于腾讯、阿里巴巴或者今日头条的公司，它们自己有数据，有技术，有应用场景，不需外人帮忙。

第二类企业有数据没有技术，包括很多大企业，比如移动通讯运营商、传统的银行和零售业等等，它们需要外人帮忙，但是通常出于保护自己利益的考虑，不会和第一类公司合作。这里面的专业人士，就能够解决上面数据冲突，以及将行业内不同维度的数据联系起来的问题。

第三类企业缺乏数据，但是有技术，于是它们需要为第二类企业解决实际问题。当然，在解决问题的过程中，它们或许能够进入很多领域，逐渐成为新的平台性公司，比如美国着名的大数据公司Splunk就是这么一步步发展起来的，它今天的市值高达200亿美元。但是在一开始，这类公司一定是做脏活累活。

3、大数据思维的四个层次

我们过去说，量变会带来质变，那常常是在一个维度上说的，而今天我们说大数据思维，已经超出了这一层含义，是一种全新的思维方式和做事情的方法。

大数据思维的第一层含义：从大量的、看似杂乱无章的数据点，总结出原来找不到的相关性。

大数据思维的第二层含义：不事先作假定，从大数据出发先得到结论，再分析原因。

大数据思维的第三层含义：利用大数据在准确把控宏观规律的同时，精确到每一个细节。

大数据思维的第四层含义：是通过几个维度的强相关性，替代过去的因果关系。

大数据思维的四个层次，它们层层递进，希望大家记在心里，想想自己如何具有大数据思维。

1、Google的广告系统利用的是用户主动输入的信息

用户自己主动输入的信息最为有效，因为任何时候，人总是喜欢买东西，不喜欢被卖东西。任何推送都比不上用户主动的请求更有效。

2、人对各种东西喜好的差异比我们通常想的要小很多

个性化服务的本质就是寻找每一个人和整个群体在喜好上的差异程度，我们可以用交叉熵来定量衡量它。维度分得越细，个性化特点越突出。但是，人对各种东西喜好的差异比我们通常想的要小很多。

今天有很多不重视底层技术和信息理论的创业者，天真地以为自己做了点个性化的事情，就可以对现有的行业竞争者取得碾压性的优势，这只是他们自己的想象。

Google一直强调，没有数据就得不出任何结论，道理是相通的。在信息时代，为什么我们要了解信息论最基本的原理？就是要能够判断做事情的方向是否正确，以免像一些公司那样，死都不知道是怎么死的。

3、使用正交、可叠加信息有很大的作用

这才是Facebook成功的根本原因。

4、离达成交易的环节越短，广告的效果越有效。

大部分媒体，包括门户网站上的信息，只是提供普通信息，它们离购买最远，因此广告的效果最差。社交网络的信息和Google搜索的信息属于第二、第三阶段的，离购买越来越近，广告的效果也就越来越好，电商上的属于最后一环，效果最好。我在很多场合讲，做人做事要直截了当，效果最好，不要拐弯抹角，就是这个道理。

⑥ 信息熵在生活中的应用

信息熵在生活中的应用如下：

1、热力学

熵在热力学中是表征物质状态的参量之一，熵是组成系统的大量微观粒子无序度的量度， 系统越无序、越混乱，就越大。 热力学过程不可逆性的微观本质和统计意义就是系统从有序趋于无序，概率较小的状态趋于概率较大的状态。

2、科学哲学

科学技术上泛指某些物质系统状态的一种量度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。

3、信息论

在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其着作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 他把信息定义为“用来消除不确定性的东西”。

4、生命科学

生命体是一个开放的系统，时刻与外界进行着物质、能量、信息的交换，符合“耗散结构”可以用熵来分析一个生命体从生长、衰老、病死的全过程，用“生命熵”来独立定义。

命熵的内容包含生命现象的时间序、空间结构序与功能序，生命熵变就直接反应这三个序的程度变化之和。

⑦ 信息论讲述的是什么问题

信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。信息是一切系统保持一定结构、实现其功能的基础。狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。

⑧ 关于信息论，你知道它涉及到哪些领域吗

1.信息的定义：信息论的鼻祖申农给信息下的界定是：不确定性的排除其实，信息的定义下不来200种

2.信息论：信息论是研究信息的本质，并用数学原理研究信息的计量传送转换和存储的一门科学

信息论在各行各业的应用和营销推广，因而，它的规律性也更一般化，适用于各行各业，因此它是一门横断学科。广义信息论，大家也称它为信息科学。

信息和操纵是信息科学的基本和关键。70时代以来，电视机、数据通讯、遥感和生物医学工程项目的发展，向信息科学明确提出大量的研究课题研究，如信息的缩小、提高、修复等图像处理和无线通信技术，信息特点的提取、归类和鉴别的模式、鉴别基础理论和方式，出现了实用的图像处理和计算机视觉系统软件。