信息论的信息率是什么

A. 什么是信息论 信息论的解释

1、信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

2、信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息论是关于信息的理论，应有自己明确的研究对象和适用范围。但从信息论诞生的那时起人们就对它有不同的理解。

B. 信息论的两个定律和一个原理

今天尘旁来说说信息论，信息论的创始人是香农，这老兄是一个全才性的科学家，他很年轻的时候啊，就提出了用布尔代数设计数字电路的原理，这成为了后来计算机和其他数字电路设计的基础。布尔代数也是非常有趣，它集合了逻辑学和数学，以后再详细谈一谈。

香浓在二战期间研究火炮的控制和密码学，在这过程中他发现了后来成为信息论的基本概念和框架体系。

香浓的信息论，概括起来，主要是模兄前两个定律和一个原理。

香农第一定律叫做信源编码定律，意思是可以将信号源内的符号，也就是信息，变成任何通讯的编码，当这种编码尽量的服从等概率分布时，每个编码所携带的信息量达到最大，进而能提高整个旦清通讯系统的效率。简单的说就是把有限的资源做合理的安排，把最好的资源放在最需要的地方，也就是把钱用在刀刃上。这个第一定律后来影响了硅谷风险投资从而形成“广撒网，继而对好项目追加双倍投入”的投资理念。

香农第二定律是描述了一个信道中的极限信息传输率和该信道能力，也就是带宽的关系。通俗点讲，这个定律的意思就是说如果要传递更多的信息，就要有更高的带宽，我们的上网也就从原来的电话，到ADSL ，后来到了光纤，我们的移动通讯也是从2G到3G再到4G，现在在研发5G，也就是在不断拓宽带宽。拓展带宽的目的就是为了提高传输效率提高信息传输量。现在来看，这好像是个非常浅显的道理，但在香农提出第二定律之前，没人能够意识到这一点。这个定律也影响了组织管理学，层级式管理和网络状管理，在沟通效率，也就是信息传递效率上，哪个带宽更高呢？

香农的最大熵原理，意思是说对未知事件发生的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。这个原理在大数据时代到来之后，对现实的各种分析推算，都非常有指导意义。比如在希拉里和特朗普进美国总统竞选的时候，一些民调，在设计提问时或多或少会加入主观的假设，从而被访者也有意无意的被引导而扭曲了真实意图。但是，广大的百姓在日常的通讯和交流中，在互联网搜索、留言、玩笑、牢骚中才会不受他人影响，没有压力，从而真正表达出他们的真实所想。

C. 信息冗余的定量定义

信源的信息率的普遍形式为
根据前面的消息可以得到当前消息的期望的或者平均条件熵。在信息论中经常提及“信息率”或者“信息熵”，当信源是普通的英文文本时这是正确的。由于无记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为H(M)。
信源的绝对信息率为
R=log I M I，
即是消息空间基数的对数值。这个公式也称作Hartley函数。这是传送用这个字母表表示的信息的最大信息率。其中对数要根据所用的测量单位选择合适的底数。当且仅当信源是无记忆的且中物均匀分布的时候，绝对信粗辩息率等于信息率。 绝对信息冗余定义为
D=R-r，
即信息率与绝对信息率之间的差。 D/R称为相对信息冗余，它表示了最大的数据压缩率，这个压缩率用文件大小减小比例所表示。当用原始文岩培缺件与压缩后的文件表示的时候，R:r 表示能够得到的最大压缩率。与相对信息冗余互补的是效率r/R。均匀分布的无记忆信源的冗余为 0，效率为 100%，因此无法压缩。

D. 信息效率和编码效率的区别

平均信息传输速率是则肢贺香侬信息熵，孙派你学电的应该知道香侬信息论。输出的信息效率是指信息的有效性可以在相移键控，频移键控等情况下，分大信噪比或者小性饥森噪比推导，具体公式可以去查通信原理。编码效率是多媒体通信的内容，研究的是变长编码，你如果不了解变长编码的话这个就不好解释，那么比如Huffman编码等编码效率为H(x)/L，L为平均码长。这些需要你仔细研读，我只给你提出一个方向，因为通信本来就是用数学知识解决信息传输的领域。

E. 信息论的基本内容

传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。
信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。
信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。
信道：传送信息的通道，如电话通信中包括中继 器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。
编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。
译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。
当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。从定量意义上说，应使系统在规定的失真或基本无失真的条件下，传送最大的信息率；或者在规定信息率的条件下，失真最小。计算这最大信息率并证明达到或接近这一值的编译码器是存在的，就是信息论的基本任务。只讨论这样问题的理论可称为仙农信息论般认为信息论的内容尚应更广泛一些，即包括提取信息和保证信息安全的理论。后者就是估计理论、检测理论和密码学。
信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的。这类信息通常称为语法信息。其实，信息系统的基本规律也应包括语义信息和语用信息。语法信息是信源输出符号的构造或其客观特性所表现与信宿的主观要求无关，而语义则应考虑各符号的意义，同样一种意义，可用不同语言或文字来表示，各种语言所包含的语法信息可以是不同的。一般地说，语义信息率可小于语法信息率；电报的信息率可低于表达同一含义的语声的信息率就是一个例子。更进一步，信宿或信息的接受者往往只需要对他有用的信息，他听不懂的语言是有意义的，但对他是无用的。所以语用信息，即对信宿有用的信息一般又小于语义信息。倘若只要求信息系统传送语义信息或语用信息，效率显然会更高一些。在目前情况下，关于语法信息，已在概率论的基础上建立了系统化的理论，形成一个学科；而语义和语用信息尚不够成熟。因此，关于后者的论述通常称为信息科学或广义信息论，不属于一般信息论的范畴。概括起来，信息系统的基本规律应包括信息的度量、信源特性和信源编码、信道特性和信道编码、检测理论、估计理论以及密码学。

F. 香农信息论三个定理

香农定理
香农定理：香农定理则描述了有限带宽;有随机热噪声信道的最姿扒大传输速率与信道带宽;信号噪声功率比之间的关系.
在有随机热噪声的信道上传输数据信号时,数据传输率Rmax与信道带宽B,信噪比S/N关系为：Rmax=B*LOG⒉（1+S/N）
在信号处理和信息理论的相关领域中,通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个着名的公式,叫做香农（Shannon）定理.它以比特每秒（bps）的形式给出一个链路速度的上限,表示为链路信噪比的一个函数,链路信噪比用分贝（dB）衡量.因此我们可以用香农定理来检测电话线的数据速率.
香农定理由如下的公式给出:C=Blog2(1＋S/N) 其中C是可得到的链路速度,B是链路的带宽,S是平均信号功率,N是平姿枝均噪声功率,信噪比（S/N）通常用迹册昌分贝（dB）表示,分贝数=10×log10（S/N

G. 信息论的 信息率与平均互信息量的差别。看课本时感觉两个是一样的。

两个不是同一个概念。

H. 什么是信息论

信息论是将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

实践证明，世界上一切事物都在运动变化之中，在这种运动和变化之过程中，就会发出各种各样的信息，内部的变化可以反映到外部，外部的表现反映内在的实质。

整体的变化可以反映于局部，局部的变化影响整体。人类在世界上生存，就必须认识信息、利用信息，否则就无法生存，例如预防和躲避自然灾害、发明创造工具、发展生产、科学试验等等，都是受某些信息的启示。

战争更离不开信息，例如我国周代已利用烽火台传递战争的信息。

凡此种种，一言以蔽之，从有人类的那一天开始，人类就生活在信息的海洋里，一时一刻也离不开信息，而关键的问题就是如何认识信息，利用信息，以改变自己的生存条件、创造更好的生活环境。

(8)信息论的信息率是什么扩展阅读

人类需要信息，而且还要传递信息，语言的作用就是传递信息，也是最好的信息传递方法，但是语言因受距离的限制，超出声音的可达范围即失去传递的作用，又易受外界噪音的干扰，于是人类又发明了文字，文字也是传递信息的一种方式，但亦有一定的局限性，因而人类叉不断地创造许许多多的信息传递方法。

传递信息的目的是为了做出合理的决策，尽管人类对信息的认识、利用源远流长，即信息反馈。但真正对信息理论的研究，仅仅只有半个多世纪的历程，其突破点首先是从信息传递方法开始的。

1922年卡橙阐明了边带问题理论，提出信号保护法则，即信号在调制（编码）过程中频谱展宽法制。可以说是信息论的先导。

当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。

有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。

最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反之也是如此。

I. 在信息论里，信息量的含义是指什么

数据就派樱是信息，
数据的方差显示了数据的集中程度，数据越是集中则说明数键丛据包含的信息越准确密集，这样的话，其实就是信息量越小。
信息量就是方差。可见统计学Fisher信稿羡樱息量。