熵：被用來計算乙個系統中的失序現象 ， 是衡量乙個系統混亂程度（無序性）的度量 。
規則排列的狀態 低熵
混亂的狀態 高熵
熱力學第二定律：
物質世界的狀態總是自發地轉變為無序 由低熵變為高熵
如 ： 氣體的擴散
乙個密封的箱子 中間放乙個隔板 在隔板左邊空間注入煙 抽走隔板
左邊的煙自然（自發）地向右擴散 最後均勻地佔滿整個箱體 （熵增原理 -> 自然界越來越無序）
這個過程是不可逆的 （除非有外界因素干擾） 如人為地增加壓力使壓強增大。
栗子：舉乙個高中課本上的例子，我們存放在抽屜中的火柴，火柴都是整齊排列的，這時熵比較小；散落在地上的火柴是混亂，熵 比較大。 同樣，放在抽屜中的火柴我們用來描述它的所需要的儲存單元就少，我們可以用一句話就可以描述；50根火柴朝右。但是散落在地上的火柴，卻需要這樣描述，有50根火柴，其中10根朝向左，10根朝向右，10根朝上，20根朝下。
可見 ：資訊熵和熱力學熵正相關的，熱力學熵越大，系統越混亂，需要用越多的儲存單元來描述，資訊熵也越大；熱力學熵越小，系統越有序，需要小的儲存單元來描述，資訊熵也就越小。
當我們不知道某事物具體狀態，卻知道它有幾種可能性時，顯然，可能性種類愈多，不確定性愈大。不確定性愈大的事物，我們最後確定了、知道了，這就是說我們從中得到了愈多的資訊，也就是資訊量大。
所以，熵、不確定性、資訊量，這三者是同一種度量。
1.用概率的倒數的對數來度量不肯定程度 h(x) = log(1/p) = -log(p)。
2.隨機變數自資訊量i(xi)的數學期望（平均自資訊量），用h（x）表示： 是隨機變數和發生概率相乘再求和的數學期望
特別的： 如果是個二分類系統，（其中p(c0),p(c1) 分別為正負樣本出現的概率。）那麼此系統的熵為:
如何消除系統的不確定性呢？當我們知道的資訊越多的時候，自然隨機事件的不確定性就越小。
1.當特徵x被固定為值時，條件熵為:
2.當特徵x的整體分布情況被固定時，條件熵為:
3.n為特徵x所出現所有種類的數量。
定義：因為特徵x被固定以後，給系統帶來的增益(或者說為系統減小的不確定度)。
最大資訊熵增益 資訊熵與資訊增益
1.資訊熵 資訊熵就是指不確定性，熵越大，不確定性越大 2.關於資訊增益 資訊增益是針對乙個乙個的特徵而言的，就是看乙個特徵t，系統有它和沒它的時候資訊量各是多少，兩者的差值就是這個特徵給系統帶來的資訊量，即增益。系統含有特徵t的時候資訊量很好計算，就是剛才的式子，它表示的是包含所有特徵時系統的資訊...
最大資訊熵增益 資訊熵與資訊增益
前言 熵在機器學習中用的非常普遍，但這個又難以理解，經常忘記，寫一篇部落格記錄一下，也方便其他人學習了解。什麼是熵 一開始接觸熵是大二的資訊理論，非常難的一門課，當時學的時候不知道這個東西有什麼用，完全就不太想學，因為不知道幹嘛，也不知道學了有什麼用，但是現在很後悔，定義 熵也叫資訊熵，可以表徵隨機...
資訊熵與資訊熵增益
資料的資訊屬性是與任務相關的.對於分類任務,標籤值 y 包含的資訊量為 info y ln p y 其中,p y 為 y 出現的概率.p y 越小,y 包含的資訊量越大.這是符合直覺的.熵定義為資訊的期望值.乙個可以分為 m 類的資料集 s 它的資訊熵為隨機得到的乙個label包含的資訊量的期望值 ...