如何計算信息量

⑴ 信息量的計算方法

資訊理論創始人C.E.Shannon，1938年首次使用比特（bit）概念：1（bit）= 。它相當於對二個可能結局所作的一次選擇量。資訊理論採用對隨機分布概率取對數的辦法，解決了不定度的度量問題。
m個對象集合中的第i個對象，按n個觀控指標測度的狀態集合的
全信息量TI= 。
從試驗後的結局得知試驗前的不定度的減少，就是申農界定的信息量，即
自由信息量FI=－∑pi ，（i=1,2，…，n）。
式中pi是與隨機變數xi對應的觀控權重，它趨近映射其實際狀態的分布概率。由其內在分布構成引起的在試驗前的不定度的減少，稱為先驗信息或謂約束信息量。風險是潛藏在隨機變數尚未變之前的內在結構能（即形成該種結構的諸多作用中還在繼續起作用的有效能量）中的。可以顯示、映射這種作用的是
約束信息量BI=TI-FI。
研究表明，m個觀控對象、按n個觀控指標進行規范化控制的比較收益優選序，與其自由信息量FI之優選序趨近一致；而且各觀控對象「愈自由，風險愈小」；約束信息量BI就是映射其風險的本徵性測度，即風險熵。
把信息描述為信息熵，是狀態量，其存在是絕對的；信息量是熵增，是過程量，是與信息傳播行為有關的量，其存在是相對的。在考慮到系統性、統計性的基礎上，認為：信息量是因具體信源和具體信宿范圍決定的，描述信息潛在可能流動價值的統計量。本說法符合熵增原理所要求的條件：一、「具體信源和信宿范圍」構成孤立系統，信息量是系統行為而不僅僅是信源或信宿的單獨行為。二、界定了信息量是統計量。此種表述還說明，信息量並不依賴具體的傳播行為而存在，是對「具體信源和具體信宿」的某信息潛在可能流動價值的評價，而不是針對已經實現了的信息流動的。由此，信息量實現了信息的度量。

⑵ 通信原理信息量問題怎麼算

啟初假幣的概率是1/27
一次稱重後，假幣的概率1/9
信息量是不確定性的消除，所以用仙農公式代表的信息量做一次差，就得了了第一次稱重所獲得的信息量

⑶ 信息量的大小如何衡量

信息量的大小與聲音強弱也無關，比如把收音機開得響些，你得到的信息也不會由此而增加。資訊理論的研究表明，信息量的大小與事件發生的可能性的概率有關。

信息量不能用得到消息的次數來度量，因為千萬個消息可能委復著相同的內容；不能用文字的多少來度量，文字再多，全是廢話，信息量並不會增大。

信息量指的是什麼

信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想，他將消息數的對數定義為信息量。若信源有m種消息，且每個消息是以相等可能產生的，則該信源的信息量可表示為I=logm。

對信息量作深入而系統研究，還是從1948年C.E.仙農的奠基性工作開始的。在來信洎頭息論筿中，認為信源輸出的消息是隨機的。

即在未收到消息之前，是不能肯定信源到底發送什麼樣的消息。而通信的目的也就是要使接收者在接收到消息後，盡可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。

⑷ 怎樣求信息的平均信息速率

1、平均信息量乘以碼元率（即波特率）。

2、計算該速率：(log2224≈7.8)m=1000H（x=16x1/32log1/32+112x1/224log1/224=6.404比特/符號Rb=m·H（X）=1000x6.404。

3、要看用什麼調制方式,如普通平衡雙邊邊調幅與正交調幅所用的帶寬就不同,還有用不同數量的符號結果也不同,如正交的4QAM與64QAM差數倍,也就是用64QAM方式調制與用4QAM方式調制後,傳輸同樣速度的信息速率,前者要佔用更少的帶寬。

4、波特率與比特率的關系是比特率= 波特率×單個調制狀態對應的二進制位數。在不同的信號調制系統中，每個碼元所載的比特是不同的。例如，二進制數字傳輸中一個碼元可攜帶一個bit，八進制數字傳輸中，一個碼元可載3個bit。一個碼元有8個狀態值時，2^3＝8，也就是說在調制時，每3個比特組成一個碼元，其對應的8個狀態就是在星座圖中的8個點，例如8 PSK，即該碼元攜帶3個bit的信息量。 一般考試時都會告訴你RB的值，常規有9600 4800等

5、一般而言，每個碼元脈沖可代表log2 M個M進制bit。即，比特率與波特率的關系為Rb = RB log2M bps。

6、舉例說明:若一個碼元有4個狀態值時，該碼元攜帶多少bit的信息量？在9600波特對應的信息傳輸速率是多少b/s?
解答：在4個狀態值時，按上述的推理可以知道（2^2＝4），每2個比特組成一個碼元。即該碼元攜帶2個bit的信息量。
在9600RB條件下，利用Rb公式，就可以直接得到= 9600×log2(4)=9600×2=19200 bps。

⑸ 信息的自信息量如何計算

信息量 I=log2（1/p）其中 p是概率， log2指以二為底的對數。 對於第一問，「不能使用」， 其概率為25%(35度以下)+5%（40度以上）=30% 信息量

⑹ 一道簡單的平均信息量計算

哥來回答～～底數為2就是比特，e就是奈特，10就是哈特，那道題目計算信息熵～～～

⑺ 信息量是怎麼計算的

假設我錯過了某年的世界盃比賽，現在要去問一個知道比賽結果的朋友「哪支球隊最終獲得世界盃冠軍」？他要求我猜，猜完會告訴我是對還是錯，但我每猜一次就要給他一塊錢。那麼我需要付給他多少錢才能知道誰是冠軍？我可以把球隊編號，從1到32，然後問「冠軍的球隊在1-16號中嗎？」。假如他告訴我對了，我就問「冠軍的球隊在1-8號中嗎？」。如果他告訴我不對，我就自然就知道冠軍隊在9-16號中。這樣我只需要猜5次就可以知道哪支球隊是冠軍了。所以，「誰是世界盃冠軍」這個問題的答案的信息量只值5塊錢。香農用「比特」（bit）來作為信息量的單位。像上邊「誰是世界盃冠軍」這個問題的答案的信息量是5比特。如果是64支球隊，「誰是世界盃冠軍」這個問題的答案的信息量就是6比特，因為要多猜一次。

對足球了解的朋友看到這有疑問了，他覺得他不需要5次來猜。因為他知道巴西，西班牙，德國等這些強隊奪冠的可能性比日本，韓國等球隊大的多。所以他可以先把強隊分成一組，剩下的其它隊伍一組。然後問冠軍是否在奪冠熱門組里邊。重復這樣的過程，根據奪冠的概率對剩下的候選球隊分組，直至找到冠軍隊，這樣也許三次或四次就猜出結果了。因此，當每支球隊奪冠的可能性（概率）不一樣時，「誰是世界盃冠軍」這個問題的答案的信息量比5比特少。

香農指出，「誰是世界盃冠軍」這個問題的答案的信息量是：

H = -(p1*log(p1) + p2 * log(p2) + ... + p32 * log(32))

其中log是以2為底數的對數，以下本文中的log都是以2為底的對數，下邊不再特別說明。

這就是衡量信息量多少的公式，它的單位是比特。之所以稱為熵是因為它的定義形式和熱力學的熵有很大的相似性。對於一個隨機變數X的信息熵的定義公式為：

H(X)＝-∑P(xi)logP(xi)

其中xi是隨機變數X的可能取值。

更多計算信息量的例子可以看這篇文章：信息怎麼衡量多少？

⑻ 怎樣衡量信息量的大小呢

如果用統計學的術語來描述，就是出現概率小的事件信息量多。因此，事件出現得概率越小，信息量愈大。即信息量的多少是與事件發生頻繁（即概率大小）成反比。

例題：向空中投擲硬幣，落地後有兩種可能的狀態，一個是正面朝上，另一個是反面朝上，每個狀態出現的概率為1/2。如投擲均勻的正六面體的骰子，則可能會出現的狀態有6個，每一個狀態出現的概率均為1/6。試通過計算來比較骰子狀態的不肯定性與硬幣狀態的不肯定性的大小。

信息量的簡介：

信息量是指信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想，他將消息數的對數定義為信息量。若信源有m種消息，且每個消息是以相等可能產生的，則該信源的信息量可表示為I=logm。但對信息量作深入而系統研究，還是從1948年C.E.香農的奠基性工作開始的。

在資訊理論中，認為信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發送什麼樣的消息。而通信的目的也就是要使接收者在接收到消息後，盡可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。

⑼ 信號的信息量與什麼有關如何計算數字信號信息量的主要使用單位是什麼

信號信息量主要和信號出現的概率有關
如果一個信號一定出現，那麼概率P(X)=1，其信息量為0
如果信號的出現概率很小，那麼其信息量就大
信息量的計算一般是 -log2(1/P(X))，單位為bit