夏農他老人家作為乙個曠世天才，研究出了資訊理論這一對後世產生了巨大影響的理論，而這一理論的基礎概念就是資訊量。
「資訊是用來消除隨機不確定性的東西」。也就是說衡量資訊量大小就看這個資訊消除不確定性的程度。
「太陽從東方公升起了」這條資訊沒有減少不確定性。因為太陽肯定從東面公升起。這是句廢話，資訊量為0。
「吐魯番下中雨了」（吐魯番年平均降水量日僅6天）這條資訊比較有價值，為什麼呢，因為按統計來看吐魯番明天不下雨的概率為98%（1-6/300），對於吐魯番下不下雨這件事，首先它是隨機不去確定的，這條資訊直接否定了發生概率為98%的事件------不下雨，把非常大概率的事情（不下雨）否定了，即消除不確定性的程度很大，所以這條資訊的資訊量比較大。這條資訊的情形發生概率僅為2%但是它的資訊量去很大，上面太陽從東方公升起的發生概率很大為1，但資訊量確很小。
這裡還可以舉乙個例子；比如最近nba發生的濃眉加入湖人隊這一事件，其原來發生的概率特別小，那麼如果其發生了，那麼帶來的資訊量就會特別大（我們現在也有所感受，其帶來的資訊量太大了），與其相似的還有周琦拿到mvp、太陽獲得總冠軍等事件，那麼與之相對應的就是諸如詹姆斯拿到場均25+6，勇士獲得總冠軍等概率極大的事件，其資訊量就很小。
從上面幾個例子可以看出：資訊量的大小和事件發生的概率成反比。
資訊量的表示:
在高中學化學的時候我們學過熵的概念，熵用來表示乙個系統內的混亂程度，放到概率中可以理解為表示乙個事件發生各種情況下的確定性，定義為：
資訊量度量的是乙個具體事件發生了所帶來的資訊，而熵則是在結果出來之前對可能產生的資訊量的期望——考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。即：
資訊量與資訊熵
資訊量 資訊奠基人夏農 shannon 認為 資訊是用來 消除隨機 不確定性 的東西 也就是說衡量資訊量大小就看這個資訊消除不確定性的程度。太陽從東方公升起了 這條資訊沒有減少不確定性。因為太陽肯定從東面公升起。這是句廢話，資訊量為0。吐魯番下中雨了 吐魯番 年平均降水量日僅6天 這條資訊比較有價值...
資訊量和資訊熵
原文在這裡 距離有近有遠，時間有長有短，溫度有高有低，我們知道可以用公尺或者千公尺來度量距離，用時分秒可以來度量時間的長短，用攝氏度或者華氏度來度量溫度的高低，那麼我們常說這句話資訊多，那句話資訊少，那麼資訊的多少用什麼度量呢？資訊量！資訊量是度量知曉乙個未知事物需要查詢的資訊的多少，單位是位元。比...
資訊量 資訊熵 交叉熵 相對熵
1 資訊量 陳羽凡吸毒？工作室不是剛闢謠了嗎？哇！資訊量好大！在生活中，極少發生的事情最容易引起吃瓜群眾的關注。而經常發生的事情則不會引起注意，比如吃瓜群眾從來不會去關係明天太陽會不會東邊公升起。資訊量的多少與事件發生概率的大小成反比。對於已發生的事件i，其所提供的資訊量為 其中底數通常為2，負號的...