在大家學習資料探勘演算法中的決策樹時，會知道決策樹是通過資訊熵來判讀哪個特徵是最適合做當前的根結點的。當然資訊熵還可以被應用於壓縮領域，通過資訊熵可以知道檔案的壓縮下限。
那麼到底什麼是資訊熵呢？首先提到熵，我們可能想的是在中學時代我們物理中的熱力學的乙個概念——通過熵來表示不穩定性。夏農（本文封面是他的**）把熵的概念引入到資訊學當中，用來表示資訊的不確定性，也就是資訊熵越高，不確定性就越大，所需要的資訊覺越多。網上常用世界盃32支足球隊的例子來說明資訊的度量問題。要知道世界盃32強哪支球隊奪冠需要多少資訊。如果獲勝的概率相同的話我們需要的資訊認為是5位元。那問什麼呢？
對二進位制比較熟悉的童鞋可能知道5位元正好可以表示32種狀態。如果給32支球隊按0到31編上號，那麼00000是第0號球隊而11111是第31號球隊，正好需要5位也就是5位元就可以表示0到31號球隊，也就是0到31號球隊哪支球隊獲勝的32條狀態。但是這是在我們不知道這32支球隊都是哪支弱哪支強的情況下的資訊熵，而如果告訴了我們隊名（也就是獲得了一些資訊）那麼資訊熵就會下降，也就是」哪支球隊會奪冠「需要的資訊就少了。因為我們知道像德國，巴西這些國家隊比日本、南韓更有可能奪冠。這了可以看出我們其實可以用概率來表示需要的資訊。當乙個事件的概率是1的時候我們不需要任何資訊，而乙個事件概率是0的時候我們需要無窮的資訊。事件的概率越大需要的資訊越少，也就是資訊熵是關於概率單調遞減的。而兩個獨立事件所需要的資訊是應該相加的。
夏農給出的資訊熵公式如下
$$h=-∑_^n p_ilogp_i
$$其中h表示資訊熵，p表示某個事件的概率。
感興趣的同學可以去證明一下。
後記：博主不是訊號專業出身可能還有不足之處，如果有感興趣的童鞋可以去看一想吳軍先生的《數學之美》這本書用了一章對資訊熵做了通俗易懂的講解。（大神們可以去看看夏農的《資訊理論》）
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
資訊熵與資訊熵增益
資料的資訊屬性是與任務相關的.對於分類任務,標籤值 y 包含的資訊量為 info y ln p y 其中,p y 為 y 出現的概率.p y 越小,y 包含的資訊量越大.這是符合直覺的.熵定義為資訊的期望值.乙個可以分為 m 類的資料集 s 它的資訊熵為隨機得到的乙個label包含的資訊量的期望值 ...
資訊熵 條件熵
1資訊熵以及引出條件熵 我們首先知道資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。公式如下 我們的條件熵的定義是 定義為x給定條件下，y的條件概率分布的熵對x的數學期望 這個還是比較抽象，下面我們解釋一下 設有隨機變數 x,y 其聯合概率分布為 條件熵h y x 表示...