夏農定義，乙個事件包含資訊量的大小由這個事件消除了多少不確定性決定
計算得出的資訊稱為 shannon information content
資訊量在某些情況下是可加的，比如：
得知乙個六面骰子投擲三次的結果所包含的資訊量，是得知投擲一次的結果的三倍
用數學表達的話，可以假設可能的結果為 r
投擲一次骰子可能產生的結果有 6 種，即 r = 6
投擲三次骰子可能產生的結果有 6
36^3
63種，即 r = 216
可以得到：
l og
b63=
3⋅lo
gb6log_b6^3=3\cdot log_b6
logb6
3=3⋅
logb
6如此一來，我們便得到了資訊量的表示式：
其中 r 是 u 可能產生的結果的數量
其中 b 在這個式子中並不關鍵，它只決定資訊的單位，一般為 bit 或 nat
如果將幾個不相關的事件視為乙個事件，則這個事件包含的資訊是這些不相關事件所包含資訊的和
我們將乙個事件 x 發生的概率定義為 p(x
)p(x)
p(x)
或 px
p_xpx
則我們得知這個事件發生時獲得的資訊量為：
當兩個事件 x 和 y 不相關時：
其中 p
ip_i
pi 是事件 i 發生的概率
這裡我們舉乙個例子來方便理解：
圖中是一頂帽子，裡面有三顆黑球和一顆白球，我們從中隨機抽取乙個球，獲得的資訊量如下：
1. 抽到白球
抽到白球的概率是1/4
1/41/
4，因此獲得的資訊量為 log
211/
4=2b
itslog_2\frac = 2 bits
log21
/41
=2bi
ts2. 抽到黑球
抽到黑球的概率是3/4
3/43/
4，因此獲得的資訊量為 log
213/
4=0.415bi
tslog_2\frac = 0.415 bits
log23
/41
=0.4
15bi
ts資訊總量為二者之和，為
白球較少，抽到白球的概率小，因此抽取白球時獲得的資訊量更多
利用numpy 計算資訊量
在雙評價的災害評價中，需要計算資訊量，下面是基於numpy和模擬資料，資訊量計算過程。兩個矩陣a，b，每個矩陣中，矩陣中的0相當與空值 不參與計算 矩陣b表示空間地貌型別 b矩陣的值表示乙個地貌型別 矩陣a表示某一災害的空間分布 a矩陣中的值本身並不關注，關心的是a有值元素的數量 1.首先，計算a在...
資訊理論 資訊的度量
概述 資訊使用來消除不確定性的東西 資訊不等於訊息，訊息只是資訊的載體 度量 資訊的大小是由資訊消除的不確定性的大小決定的 中國男子桌球隊獲得冠軍與中國男子足球隊獲得冠軍的資訊量完全不同 事件1的不確定性為i p1 p1為事件1的先驗概率 資訊a消除的不確定性為i p2 則獲取資訊a後事件1的不確定...
資訊量與資訊熵
資訊量 資訊奠基人夏農 shannon 認為 資訊是用來 消除隨機 不確定性 的東西 也就是說衡量資訊量大小就看這個資訊消除不確定性的程度。太陽從東方公升起了 這條資訊沒有減少不確定性。因為太陽肯定從東面公升起。這是句廢話，資訊量為0。吐魯番下中雨了 吐魯番 年平均降水量日僅6天 這條資訊比較有價值...