信息向量什麼意思

㈠ 信息的定義

1.信息，指音訊、消息、通訊系統傳輸和處理的對象，泛指人類社會傳播的一切內容。人通過獲得、識別自然界和社會的不同信息來區別不同事物，得以認識和改造世界。在一切通訊和控制系統中，信息是一種普遍聯系的形式。

2.「信息」一詞在英文、法文、德文、西班牙文中均是「information」,日文中為「情報」，我國台灣稱之為「資訊」，我國古代用的是「消息」。作為科學術語最早出現在哈特萊（R.V.Hartley）於1928年撰寫的《信息傳輸》一文中。具有代表意義的表述如下：

信息奠基人香農（Shannon）認為「信息是用來消除隨機不確定性的東西」，這一定義被人們看作是經典性定義並加以引用。

控制論創始人維納（Norbert Wiener）認為「信息是人們在適應外部世界，並使這種適應反作用於外部世界的過程中，同外部世界進行互相交換的內容和名稱」，它也被作為經典性定義加以引用。

經濟管理學家認為「信息是提供決策的有效數據」。

(1)信息向量什麼意思擴展閱讀：

信息是有以下的幾個特點的：

1． 消息x發生的概率P(x)越大，信息量越小；反之，發生的概率越小，信息量就越大。可見，信息量（我們用I來表示）和消息發生的概率是相反的關系。

2． 當概率為1時，百分百發生的事，地球人都知道，所以信息量為0。

3． 當一個消息是由多個獨立的小消息組成時，那麼這個消息所含信息量應等於各小消息所含信息量的和。

根據這幾個特點，如果用數學上對數函數來表示，就正好可以表示信息量和消息發生的概率之間的關系式：I=-loga(P(x))。這樣，信息不就可以被量化了嗎？既然信息可以被量化，那麼總得給它一個單位吧？人的體重是以公斤來計量的，人的身高是以米來計量的，那麼信息量該以什麼單位來計量呢？通常是以比特（bit）為單位來計量信息量的，這樣比較方便，因為一個二進制波形的信息量恰好等於1bit。