信息论研究有哪些

‘壹’ 什么信息科学信息科学技术的主要研究内容是什么主要应用领 域有那些

近几年来,由于我国科技的大力发展以及电子信息科学在计算机技术中不断的应用,对于电子信息科学的应用研究也在不断的加强。文章主要讲述了电子信息科学和计算机技术的

‘贰’ 信息论的主要有哪些内容

1.信息的定义:信息论的鼻祖申农给信息下的定义是:不确定性的排除其实，信息的定义不下200种

2.信息论:信息论是研究信息的本质，并用数学方法研究信息的计量传递变换和存储的一门科学

3.信息的系统性:指信息不是零星的个别的混乱的，而是有一组具有特定内容和性质的信息，在一定条件下为某种目的而形成的有机体，如患者的全部症状智能诊断卡使用中，应该拿着诊断卡从第一项症状直到最后一项症状，一项一项地问诊，从头至尾地建立一个症状的信息系统

4.信息处理:就是数据处理数据处理包括信息的收集加工存储检索传输和显示整个用智能诊断卡诊病过程——取卡问诊打点统计找大逆诊辅检，就是信息处理过程

5.信息价值衡量:信息的价值因人而异，同一信息，对不同的人，不同的地点，价值不同，在智能诊断卡中的分值也不同

‘叁’ 试述信息论的研究内容

网络知道上有相同的问题,我图简便直接复制过来了. 信息论的创始人是美贝尔电话研究所的数学家香农. 信息论的创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——）,他为解决通讯技术中的信息编码问题,突破老框框,把发射信息和接收信息作为一个整体的通讯过程来研究,提出通讯系统的一般模型；同时建立了信息量的统计公式,奠定了信息论的理论基础.1948年申农发表的《通讯的数学理论》一文,成为信息论诞生的标志. 申农创立信息论,是在前人研究的基础上完成的.1922年卡松提出边带理论,指明信号在调制（编码）与传送过程中与频谱宽度的关系.1922年哈特莱发表《信息传输》的文章,首先提出消息是代码、符号而不是信息内容本身,使信息与消息区分开来,并提出用消息可能数目的对数来度量消息中所含有的信息量,为信息论的创立提供了思路.美国统计学家费希尔从古典统计理论角度研究了信息理论,苏联数学家哥尔莫戈洛夫也对信息论作过研究.控制论创始人维纳建立了维纳滤波理论和信号预测理论,也提出了信息量的统计数学公式,甚至有人认为维纳也是信息论创始人之一. 在信息论的发展中,还有许多科学家对它做出了卓越的贡献.法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专着,从热力学和生命等许多方面探讨信息论,把热力学熵与信息熵直接联系起来,使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释.英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章,还把信息论推广应用于生物学和神经生理学领域,也成为信息论的重要着作.这些科学家们的研究,以及后来从经济、管理和社会的各个部门对信息论的研究,使信息论远远地超越了通讯的范围.因此,信息论可以分成两种：狭义信息论与广义信息论. 狭义信息论是关于通讯技术的理论,它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学.广义信息论,则超出了通讯技术的范围来研究信息问题,它以各种系统、各门科学中的信息为对象,广泛地研究信息的本质和特点,以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律.显然,广义信息论包括了狭义信息论的内容,但其研究范围却比通讯领域广泛得多,是狭义信息论在各个领域的应用和推广,因此,它的规律也更一般化,适用于各个领域,所以它是一门横断学科.广义信息论,人们也称它为信息科学.关于信息的本质和特点,是信息论研究的首要内容和解决其它问题的前提.信息是什么?迄今为止还没有一个公认的定义. 英文信息一词（Information）的含义是情报、资料、消息、报导、知识的意思.所以长期以来人们就把信息看作是消息的同义语,简单地把信息定义为能够带来新内容、新知识的消息.但是后来发现信息的含义要比消息、情报的含义广泛得多,不仅消息、情报是信息,指令、代码、符号语言、文字等,一切含有内容的信号都是信息.哈特莱第一次把消息、情报、信号、语言等等都是信息的载体,而信息则是它们荷载着的内容.但是信息到底是什么呢?申农的狭义信息论第一个给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少.这是从通讯角度上下的定义,即信源发出了某种情况的不了解的状态,即消除了不定性.并且用概率统计数学方法,来度量为定性被消除的量的大小：H（x）为信息熵,是信源整体的平均不定度.而信息I（p）是从信宿角度代表收到信息后消除不定性的程度,也就是获得新知识的量,所以它只不在信源发出的信息熵被信宿收到后才有意义.在排除干扰的理想情况下,信源发出的信号与信宿接收的信号一一对应,H（x）与I（p）二者相等.所以信息熵的公式也就是信息量的分式.式中的k是一个选择单位的常数,当对数以2为底时,单位称比特（bit）,信息熵是l0g2=1比特. 在申农寻信息量定名称时,数学家冯.诺依曼建议称为熵,理由是不定性函数在统计力学中已经用在熵下面了.在热力学中熵是物质系统状态的一个函数,它表示微观粒子之间无规则的排列程度,即表示系统的紊乱度,维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵.正如一个系统中的信息量是它的组织化程度的度量,一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数.”这说明信息与熵是一个相反的量,信息是负熵,所以在信息熵的公式中有负号,它表示系统获得后无序状态的减少或消除,即消除不定性的大小. 信息一般具有如下一些特征：1可识别；2可转换；3可传递；4可加工处理；5可多次利用（无损耗性）；6在流通中扩充；7主客体二重性.信息是物质相互作用的一种属性,涉及主客体双方；信息表征信源客体存在方式和运动状态的特性,所以它具有客体性,绝对性；但接收者所获得的信息量和价值的大小,与信宿主体的背景有关表现了信息的主体性和相对性.8信息的能动性.信息的产生、存在和流通,依赖于物质和能量,没有物质和能量就没有能动作用.信息可以控制和支配物质与能量的流动. 信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容.信息论还研究语义信息、有效信息和模糊信息等方面的问题.广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性,它是一种物质系统的特性以一定形式在另一种物质系统中的再现.信息概念具有普遍意义,它已经广泛地渗透到各个领域,信息科学是具有方法论性质的一门科学.信息方法具有普适性. 所谓信息方法就是运用信息观点,把事物看做是一个信息流动的系统,通过对信息流程的分析和处理,达到对事物复杂运动规律认识的一种科学方法.它的特点是撇开对象的具体运动形态,把它作为一个信息流通过程加以分析.信息方法着眼于信息,揭露了事物之间普遍存在的信息联系,对过去难于理解的现象从信息观点作出了科学的说明.信息论为控制论、自动化技术和现代化通讯技术奠定了理论基础,为研究大脑结构、遗传密码、生命系统和神经病理象开辟了新的途径,为管理的科学化和决策的科学批提供了思想武器.信息方法为认识当代以电子计算机和现代通讯技术为中心的新技术革命的浪潮,为认识论的研究和发展,将进一步提高人类认识与改造自然界的能力.

‘肆’ 什么是信息论

信息论是将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

实践证明，世界上一切事物都在运动变化之中，在这种运动和变化之过程中，就会发出各种各样的信息，内部的变化可以反映到外部，外部的表现反映内在的实质。

整体的变化可以反映于局部，局部的变化影响整体。人类在世界上生存，就必须认识信息、利用信息，否则就无法生存，例如预防和躲避自然灾害、发明创造工具、发展生产、科学试验等等，都是受某些信息的启示。

战争更离不开信息，例如我国周代已利用烽火台传递战争的信息。

凡此种种，一言以蔽之，从有人类的那一天开始，人类就生活在信息的海洋里，一时一刻也离不开信息，而关键的问题就是如何认识信息，利用信息，以改变自己的生存条件、创造更好的生活环境。

(4)信息论研究有哪些扩展阅读

人类需要信息，而且还要传递信息，语言的作用就是传递信息，也是最好的信息传递方法，但是语言因受距离的限制，超出声音的可达范围即失去传递的作用，又易受外界噪音的干扰，于是人类又发明了文字，文字也是传递信息的一种方式，但亦有一定的局限性，因而人类叉不断地创造许许多多的信息传递方法。

传递信息的目的是为了做出合理的决策，尽管人类对信息的认识、利用源远流长，即信息反馈。但真正对信息理论的研究，仅仅只有半个多世纪的历程，其突破点首先是从信息传递方法开始的。

1922年卡橙阐明了边带问题理论，提出信号保护法则，即信号在调制（编码）过程中频谱展宽法制。可以说是信息论的先导。

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。

有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。

最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。

‘伍’ 信息论的应用

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
政治学（政治沟通） 信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息是确定性的增加----逆Shannon信息定义；
信息是物质、能量、信息的标示----Wiener信息定义的逆;
信息是事物及其属性标识的集合。 物质、能量与信息是组成世界的三大要素。人们已经很深入地了解了物质与能量，而对信息的认识才刚起步。那么，信息是什么？它又是以何种方式存在的？它有着怎样的作用？以下是我的猜想，希望对人类进一步认识世界有一定帮助。
一、信息的定义
非世界三要素的信息定义:信息是事物及其属性标识的集合。不含世界三要素的的信息定义.
含三要素的信息定义：
1．信息是确定性的增加----逆Shannon信息定义；
2．信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.
信息（information）是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。然而，这只是对于我们所生活的三维空间而言的，信息还有更深藏的本质。那么，难道信息还存在于四维空间（这里所说的四维空间不包括时间，而是空间的四维状态）中吗？是的，但要明确一点，信息只存在于四维空间，三维空间中的信息只是四维空间中真实信息的影子。信息大量存在于四维空间中，其本质是在四维空间中存在的一种信息子（informer，假想的存在于四维空间的组成信息的基本单位）的规则排布。
信息是事件（corritor）发生的根本原因，这将在第三节中细作分析。
二、信息的性质
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
三、信息论机制
在平常状态下，信息子杂乱无章地分布于四维空间中。当三维空间中的分子摩擦碰撞时，其中的能量逃逸到四维空间中，启动了信息子的规则排布，排布好的信息子又将能量释放出来，进入三维空间，引起其他分子的摩擦碰撞，如此循环下去。如果被引起摩擦碰撞的分子恰好是决子（decider，决定事件的因子，如引起神经冲动的钠钾离子、引起雷电的电荷），并且有一定物质的量的决子被引起摩擦碰撞时，事件发生。当然，不同分子摩擦碰撞产生的能量不同，其引起的信息子的排布形式的种类也不同，因而决定的事件也不同。
然而，在宇宙爆炸前只有信息存在，一个决定因素（现在还不了解这个因素是什么）导致了信息子的偶然规则排布，一部分信息子转化为能量（信息子转化为能量是有一定条件的，这只有在宇宙爆炸前或初期才能实现），能量再在一定条件下转化为物质，并继续转移转化，最终形成了我们现在的宇宙。因此，信息子的有序排布是事件发生的根本原因，物质摩擦碰撞是事件发生的直接原因，而能量的传递是事件发生的必要条件。
四、信息论假说的实例
1．思想与记忆：思想是我们一直捉摸不透的东西，而按照信息论假说来讲，思想其实就是一种信息。大脑中的某些特定分子摩擦碰撞，引起了某些信息子的规则排布，在三维空间中的表现就是产生电流，引起脑细胞的活动，这便是思想的本质，当然，不同信息表现出不同思想。然而，这不等于我们的思想是早已限定好了的吗？其实就是这样。只不过我们脑中分子数量是庞大的，其能引起信息子的排布形式的种类是极其多的，我们的思想不过也只开发了很少一部分。现实中我们所谓的思想还要有另一个因素，那就是需要通过一个完整复杂的调节机制将其表达出来，这个调节机制对于人类来说便是神经系统，因此只有我们能将复杂的思想表达出来。记忆是思想的特化，是信息引起摩擦碰撞的分子恰好是以前产生思想的分子（记忆的决子）时，以前的思想便会再次通过特定信息子的规则排布表达出来。这样看来，我们的思想是连续的，前一刻的思想直接决定了后一刻的思想，只是我们并没发觉也没有手段去发现罢了。
2．生命现象：人的生老病死也可以通过信息论假说来解释。人生病其实是不融合分子（细菌或病毒）与体内分子摩擦引起的信息。成长其实是各种各样的外界分子（如钙离子）进入人体内与体内分子摩擦引起的信息。衰老与死亡是细胞内分子摩擦引起的信息，其宏观表现为细胞的衰老与凋亡，进而影响人。
3．预感与巧合：预感是思想的一种极特殊的形式，当脑中某些分子摩擦引起信息子排布后，信息并未释放全部能量，而是只将其中一部分能量先释放出来，引起预感决子的摩擦，剩下的能量则在另外的时刻释放出来，并由于与前一部分能量同源，恰好引起事件决子的摩擦，从而印证了预感。巧合也是一种极特殊的现象，其本质是信息释放的能量分为两半进入到三维空间中的不同地点，引发相同分子的摩擦，从而引起不同地点相同事情的发生，这一般出现在同卵双胞胎身上，因为其基因的相似性决定了其相同分子摩擦的几率较大。
4．梦与不实印象（untrue impressions）：梦是在无意识情况下产生的思想，其本质也是信息。我们平时会产生不实印象，看到某情景感觉以前似乎发生过，可是以前却并没有发生，其实这是因为脑内分子摩擦引起信息，而信息并没有将能量马上释放出来，而是暂时储存起来，当另一时刻又有同样的分子摩擦时，其能量被激活，双倍能量释放出来，其中一半能量使我们思想，另一半能量使我们产生印象，这便是不实印象的本质。
5．化学反应：一切化学反应的本质都是信息。几种分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化学键断裂与形成，完成化学反应。
6．命运与灵魂：古人相信命运，可能是冥冥之中感到在另一空间中我们是早已被安排好的个体，于是出现了人类对灵魂、神的遐想。
五、信息论假说的意义
信息论假说将物质与思想相统一，它是唯物主义发展所必经的一步，它用唯物的观点解释了人类一直无法弄清的问题。它自身只是一个假说，需要人类长时间去探索与证明，它自身也存在缺陷，需要人类的不断发现。也许它本来就是个错误，但它是人类成长的见证，是人类伟大的精神财富。
用信息论假说的观点看问题，可以使人类认识到一个全新的世界，并有助于探索世界更深的本质。它给人类提供了一个丰富的经验，是人类跳出固有思想看问题的典范。总之，不管它是否正确，它都是人类的不朽之作。

‘陆’ 信息论是什么

信息论
开放分类： 哲学、信息

总述 （来源: 信息论 南丰公益书院 ）
信息论
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

H = - ∑ pilogpi
i

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。南丰公益书院

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y)
x,y

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

应用

信息论被广泛应用在：
南丰公益书院

编码学
密码学与密码分析学
数据传输
数据压缩
检测理论
估计理论
信息论第一定律

信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

——摘自《安全科学技术网络全书》（中国劳动社会保障出版社，2003年6月出版）

‘柒’ 信息论的应用有哪些

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义
信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。
信息和控制是信息科学的基础和核心。70年代以来，电视、数据通信、遥感和生物医学工程的发展，向信息科学提出大量的研究课题，如信息的压缩、增强、恢复等图像处理和传输技术，信息特征的抽取、分类和识别的模式、识别理论和方法，出现了实用的图像处理和模式识别系统。

‘捌’ 什么是信息论 信息论的解释

1、信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

2、信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息论是关于信息的理论，应有自己明确的研究对象和适用范围。但从信息论诞生的那时起人们就对它有不同的理解。

‘玖’ 关于信息论，你知道它涉及到哪些领域吗

1.信息的定义：信息论的鼻祖申农给信息下的界定是：不确定性的排除其实，信息的定义下不来200种

2.信息论：信息论是研究信息的本质，并用数学原理研究信息的计量传送转换和存储的一门科学

信息论在各行各业的应用和营销推广，因而，它的规律性也更一般化，适用于各行各业，因此它是一门横断学科。广义信息论，大家也称它为信息科学。

信息和操纵是信息科学的基本和关键。70时代以来，电视机、数据通讯、遥感和生物医学工程项目的发展，向信息科学明确提出大量的研究课题研究，如信息的缩小、提高、修复等图像处理和无线通信技术，信息特点的提取、归类和鉴别的模式、鉴别基础理论和方式，出现了实用的图像处理和计算机视觉系统软件。

‘拾’ 信息论讲述的是什么问题

信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。信息是一切系统保持一定结构、实现其功能的基础。狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。