機器學習筆記-knn
機器學習筆記-決策樹
機器學習筆記-邏輯回歸
機器學習筆記-資訊熵
資訊的大小跟隨機事件的概率有關：越小概率的事情發生了產生的資訊量越大（目睹飛碟）；越大概率的事情發生了產生的資訊量越小（太陽東昇西落）。因此乙個具體事件的資訊量應該是隨著其發生概率而遞減的，且不能為負。
而資訊熵則是在結果出來之前對可能產生的資訊量的期望——資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望之和。離散隨機變數的概率分布為p(xi)，則熵(entropy)的公式如下：
推導過程可以點通俗理解資訊熵
資訊增益恰好是：資訊熵-條件熵。換句話說，資訊增益代表了在乙個條件下，資訊複雜度（不確定性）減少的程度。
在決策樹中，資訊增益是針對某個特徵有無時資訊量的差值，即資訊增益越大，則這個特徵的選擇性越好。
概率定義：待分類的集合的熵和選定某個特徵的條件熵之差（這裡指的是經驗熵或經驗條件熵，由於真正的熵並不知道，是根據樣本計算出來的），公式如下：
關於資訊增益的更多訊息通俗理解決策樹演算法中的資訊增益
上面提到了條件熵h(y|x)，他是用來解釋資訊增益而引入的概念。
在給定隨機變數x的條件下，隨機變數y的條件熵被描述為：
在給定x的條件下，y的條件概率分布的熵對x的數學期望。也就是說，條件熵h（y|x）表示在已知隨機變數x的條件下隨機變數y的不確定性。
在機器學習中為選定某個特徵後的熵，公式如下：
關於條件熵的更多資訊通俗理解條件熵
一組事件的兩個分布p，q，則它們在給定樣本集上的交叉熵定義如下：
交叉熵越低，這個策略就越好，最低的交叉熵也就是使用了真實分布所計算出來的資訊熵，因為此時 ，交叉熵 = 資訊熵。
這也是為什麼在機器學習中的分類演算法中，我們總是最小化交叉熵，因為交叉熵越低，就證明由演算法所產生的策略最接近最優策略，也間接證明我們演算法所算出的非真實分布越接近真實分布。當兩個分布完全相同時，交叉熵取最小值。
即交叉熵可衡量兩個分布的相似程度，越小越相似。
通俗理解資訊熵
通俗理解條件熵
如何通俗的解釋交叉熵與相對熵?-cyberrep
資訊&熵&資訊增益
機器學習1 資訊熵
1.在資訊理論中，熵被用來衡量乙個隨機變數出現的期望值。它代表了在被接收之前，訊號傳輸過程中損失的資訊量，又被稱為資訊熵。資訊熵也稱信源熵 平均自資訊量。2.從直觀上說，資訊熵越大，變數包含的資訊量越大，變數的不確定性也越大。乙個事物內部會存在隨機性，也就是不確定性，而從外部消除這個不確定性唯一的辦...
機器學習之資訊熵
資訊熵的公式 先丟擲資訊熵公式如下 其中 p xi 代表隨機事件x為 xi的概率，下面來逐步介紹資訊熵的公式 資訊量是對資訊的度量，就跟時間的度量是秒一樣，當我們考慮乙個離散的隨機變數x的時候，當我們觀察到的這個變數的乙個具體值的時候，我們接收到了多少資訊呢？多少資訊用資訊量來衡量，我們接受到的資訊...
機器學習 資訊熵 資訊增益的概念
資訊熵表示 隨機變數 的不確定性。不確定性越大 即所謂的資訊量越大 資訊熵越大。首先從直覺上來講，是可以的。不然我們怎麼覺得有的人廢話特別多，卻沒什麼資訊量 而有的人一語中的，一句話就傳達了很大的資訊量。有些事情本來不是很確定 例如 明天 是漲是跌 1 明天nba決賽開始了 和 跌漲 沒關係，所以 ...