Ⅰ 人工智慧通識-科普-最大熵
最大熵是什麼？最大熵有什麼意義？
在這篇文章中， 人工智慧通識-科普-信息熵和信息量 ，我們提到了香農發明的信息熵計算公式：
並且我們計算得到了拋擲均勻硬幣所得結果的信息熵是1bit，投擲均勻骰子的點數結果的信息熵是2.585bit，對於等概率隨機四個數字所得結果的信息熵是2bit。
那麼假設有一個用來作弊的骰子，扔出一點的概率有50%，扔出其他五個點的概率均等，都是10%。那麼這個結果的信息熵是：
從這個例子我們可以看到， 均勻骰子等概率隨機產生結果的信息熵最大，任何作弊之後的骰子產生的信息熵都會小於這個最大熵 。
再以非均勻的硬幣為例，正面朝上的概率如果是0.6，而反面朝上的概率是0.4，那麼它產生結果的信息熵是：
上面是我們感性的認識，當然這個規律是可以被數學證明的，即： 所有可能性為等概率的時候，結果的信息熵最大 。
信息熵也叫香農熵。資訊理論中信息量的單位是比特bit，也叫香農單位。消息所帶的信息量可以消除不確定性，即消除熵。所以信息熵的單位也是比特。
比特就是正反兩面二選一。
有ABC三個杯子，一枚硬幣一定在某個杯子底下。假設三個杯子蓋了硬幣的概率是均衡的，那麼，怎麼解開謎題？我們只要2次判斷。
如果在A下，一問即中；如果在B或C下，要問2次，平均每個杯子問(1+2+2)/3=1.66次，而這個系統只有3種均概率的可能，它輸出結果的信息熵是 ，小於2，所以香農熵是確定每種情況平均所需提問的最小值。
換成6個面的骰子會怎樣？是1嗎？是2嗎？...是5嗎？平均每個點數要問的次數是:
。
也許你會用更好的二叉樹進行提問：
這樣的話,6和3隻問2次，1245則要問三次，平均每個點數對應的問題是：
用二進製表示N種可能（比如0~N范圍的數字），那麼至少需要 個位元組，因為這樣每個表示的二進制數字才能將所有其他可能的數字區別開來。
比如說計算機RGB每個顏色有0~255種，也就是 ，需要8比特才能表示全部情況。
熵描述了無序性，隨機性，不確定性。根據熱力學第二定律，熵總是趨向增加的。因此，當我們遇到未知的情況的時候，我們應該按照最大熵的情況進行推測。
實際上，每天我們都是這樣做的。
比如骰子，我們一直習慣於假設它的六個點是均等概率的，並按照這個1/6的概率去推測下一次情況。即使我告訴你這個骰子我做過特殊處理，有50%的概率會投出1點，那麼大家也還是會習慣的認為剩下5個點數每種可能都是1/5，這就是用最大熵的思維來思考。
最大熵就是以知之為知之，以不知為不知。對於已知條件之外的未知情況，我們都習慣於用最大熵的均等概率進行思考 。
不要把雞蛋放在一個籃子里，因為放在一個籃子里不符合最大熵原理，放在多個籃子，概率被比較平靜的分散開，就能獲得更大熵，更小的風險。
熱力學第二定律規定在沒有外來能量注入的封閉情況下，熵會趨向於增加，而不會減少。
但這不代表著熵就沒有辦法增加，恰恰相反，這個定理背後隱含著可以通過引入外部能量來減少系統內的熵，從而使系統變得更加有序。
地球是個大系統，太陽光源源不斷的把能量輸送進來，四十億年以來逐漸誕生了生命。生命的一個熱力學定義就是能夠通過輸入輸出實現熵減的系統。
生命是宇宙熵增大潮中的一股逆流，它逆潮而動，吸收能量，努力減少自身的熵，減少周邊世界的熵，讓自身變得更有序，讓世界變得更有序。
然而在大尺度上看，生命這種熵減系統的出現，可以更快的加速周邊世界能量的釋放，更快的實現了更大系統的熵增。
生命讓地球系統的熵更多還是更少？
我認為是更多。不要只看到鱗次櫛比的高樓大廈，更要看到我們消耗了地球儲藏了幾十億年的石油、煤炭、天然氣資源，甚至我們的技術已經伸向了原子層的核能。
在宇宙宏觀層面，生命無法阻攔整個系統的熵增，實際上，系統內的元素和能量越是活躍，也就越是引發更快的熵增。
生命既是熵增大潮的中的逆流，也是大潮的助推者，我們人類就像是地球上生長的食腐細菌，我們發展越快，也就越快的導致地球乃至太陽系的無序熵增。
熵增是無機世界的自然法則，也是真隨機事件的內在特徵。但是也有兩方面值得思考：
END