學習機器學習演算法之決策樹，這個大俠的文章寫得不錯：
總結一下：
1.對於資訊熵的理解：
選假設有乙個離散型隨機變數x有4中可能的結果：a-1/2，b-1/4，c-1/8，d-1/8，後面的是每種結果的發生概率。那麼如果順序的去猜測x，就會有以下事件可能發生：問到a，命中a，用一次，問a->b，命中b，用兩次，問a->b->c,命中c，用三次，問a->b->c,不命中c但是只剩下d自然就會命中d，用三次，所以平均次數=1/2×1+1/4×2+1/8×3+1/8×3=1/2×log2(2)+1/4*log2(4)+1/8*log2(8)+1/8*log2(8)=1.75bit。說明用計算機對x的取值編碼的平均長度為1.75個bit(這裡引用知乎回答，可以比較形象體會一下資訊的量化)。在獲得隨機變數後會得到資訊，那麼定義這資訊增益量為：log(pi^-1),即對應概率的倒數的對數。總的來說，資訊熵是用來刻畫資料集合複雜度的統計量，資訊熵越大越複雜越沒有達到分類的目的，資料集就越不純。注意在公式中的對數的底數取值可以有不同，一般取2單位是bit，也有取e的單位資訊單位奈特nat，只要》1就可以。
2.交叉熵：
描述兩個資料集合相似程度的度量方法。用交叉熵代替成本函式，通過量化正確結果集與**結果集的相似程度及交叉熵，就可以快速下降。
機器學習（三）決策樹學習
決策樹學習是一種逼近離散值目標函式的方法，在這種方法中學習到的函式被表示為一棵決策樹。決策樹通過把例項從艮節點排列到某個葉子結點來分類例項，葉子結點即為例項所屬的分類。樹上的每乙個結點指定了對例項的某個屬性的測試，並且該結點的每乙個後繼分支對應於該屬性的乙個可能值。分類例項的方法是從這棵樹的根節點開...
《機器學習實戰》學習筆記三 決策樹
1.資訊增益 決策樹應該是比較簡單的概念了，其結構類似於二叉樹，從根節點向下依次判斷，直至葉子節點獲得結果。對於基本結構不多說了，這裡主要說一下和決策樹相關的兩個數學上的概念，即資訊增益和夏農熵。資訊增益是指的以某乙個特徵對資料集劃分前後資料集發生的變化，而夏農熵則是度量這一變化的量。夏農熵的計算公...
《機器學習實戰》學習筆記三 決策樹
第三章 決策樹 決策樹就是乙個樹狀結構的判別模式 這棵樹的每個非葉節點都包含乙個判斷條件，每個葉節點都是一種特定的分出來的類別。缺點 可能產生匹配過度 關於優缺點，個人理解 對中間值的缺失不敏感就是說可以處理有缺失值的特徵資料，匹配過度應該是對於分出來的類別中存在父子類這種情況來說的 一 決策樹總體...