機器學習 2 100 資料知識積累夏農熵

1948 年，夏農提出了「

資訊熵」(shāng) 的概念，才解決了對資訊的量化度量問題。

一條資訊的

資訊量大小和它的不確定性有直接的關係。比如說，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的資訊。相反，如果我們對某件事已經有了較多的了解，我們不需要太多的資訊就能把它搞清楚。所以，從這個角度，我們可以認為，資訊量的度量就等於不確定性的多少。

先給出公式：

假設：有如下5個事件發生的概率如下：

a = 0.5
b = 0.2
c = 0.1
d = 0.1
e = 0.1

計算夏農熵結果如下：
h(x) = -[(0.5log
20.5 + 0.2log
20.2 + (0.1log
20.1)*3)]
h(x) = -[-0.5 + (-0.46438) + (-0.9965)]
h(x) = -[-1.9]
h(x) = 1.9

用python 實現：

from math import log
a = 0.5
b = 0.2
c = 0.1
d = 0.1
e = 0.1
hx=-(a*log(a,2)+b*log(b,2)+c*log(c,2)+d*log(d,2)+e*log(e,2))
print hx

在數學中，幾何向量也稱為歐幾里得向量，通常簡稱向量向量指具有大小 magnitude 和方向的量。向量可以形象化地表示為帶箭頭的線段。箭頭所指代表向量的方向線段長度代表向量的大小。向量的記法印刷體記作粗體的字母如a b u v 書寫時在字母頂上加一小箭頭 1 如果給定向量的起點 a ...

前面我曾經發帖推薦過網上的一些做影象處理和計算機視覺的有料部落格資源，原帖位址 1 首先，是豆瓣上的資料鋪子主頁因為我個人多是用r來做資料探勘和分析，所以主頁菌的內容很對我的胃口。這個主頁裡有大量用r做資料探勘的內容。我也向博主偷師了很多。儘管主頁菌已經停止更新內容了，但是現有的部分其實文章...

二 modis資料使用的投影三常用的modis資料空間解析度 250 m 1 2波段 500 m 3 7波段 1000 m 8 36波段掃瞄寬度 2330km 時間解析度 1天光譜波段 36個離散光譜波段，光譜範圍寬，從0.4微公尺可見光到14.4微公尺熱紅外全光譜覆蓋軌道 70...

機器學習 2 100 資料知識積累 夏農熵