1. 為何總結
這週三開組會，師兄所做報告的公式中涉及熵的概念。
老闆一句話從直覺意義上解釋熵: 離散分布中，能量僅僅集中在少數點上，熵就低。
2. 熵的物理意義
1）化學及熱力學
當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算乙個系統中的失序現象，也就是計算該系統混亂的程度。
2）資訊理論中，
熵是接收的每條訊息中包含的資訊的平均量（ 熵
最好理解為不確定性的量度而不是確定性的量度，因為越隨機的信源的
熵越大。）
3. 《數學之美》(吳軍)-- 用於自然語言處理
chapter 6 資訊的度量和作用
資訊熵 h(x)
條件熵-- 多了y的資訊後，x的不確定性下降了
h(x|y)
互資訊-- 2個隨機事件的相關性
i(x;y)=h(x)-h(x|y)
相對熵（交叉熵）-- 與互資訊同根，衡量2個取值為正數的函式的相關性
chapter 20 最大熵模型
最大熵模型存在且唯一，形式為指數函式。
nlp應用：1）輸入法--**是哪個詞語； 2）搜尋，對網頁排序
缺點：計算量巨大
4. 決策樹的劃分選擇 用到 「資訊熵」
d: 樣本集
a: 離散屬性，有v個可能的取值
資訊增益（id3） gain(d,a)
增益率（c4.5） gain_ratio(d,a)
機器學習1 資訊熵
1.在資訊理論中，熵被用來衡量乙個隨機變數出現的期望值。它代表了在被接收之前，訊號傳輸過程中損失的資訊量，又被稱為資訊熵。資訊熵也稱信源熵 平均自資訊量。2.從直觀上說，資訊熵越大，變數包含的資訊量越大，變數的不確定性也越大。乙個事物內部會存在隨機性，也就是不確定性，而從外部消除這個不確定性唯一的辦...
機器學習之相對熵
1.熵 資訊熵 的定義 不妨把資訊熵理解成某種特定資訊的出現概率 離散隨機事件的出現概率 乙個系統越是有序，資訊熵就越低 反之，乙個系統越是混亂，資訊熵就越高。資訊熵也可以說是系統有序化程度的乙個度量。如果乙個隨機變數 2.相對熵 又稱互熵，交叉熵，鑑別資訊，kullback熵，kullback l...
機器學習筆記 資訊熵
機器學習筆記 knn 機器學習筆記 決策樹 機器學習筆記 邏輯回歸 機器學習筆記 資訊熵 資訊的大小跟隨機事件的概率有關 越小概率的事情發生了產生的資訊量越大 目睹飛碟 越大概率的事情發生了產生的資訊量越小 太陽東昇西落 因此乙個具體事件的資訊量應該是隨著其發生概率而遞減的，且不能為負。而資訊熵則是...