機器學習之決策樹

決策樹是很常見的機器學習分類演算法，竟然叫決策樹，那麼它的模型其實就像樹一樣。通過對樣本集的學習，挖掘出有用的規則。對於程式設計師來說或許以條件語句來看就更好理解了，決策樹可以看成是多個if then條件語句的集合。這種模型等同於我們寫的條件語句，所以它的**分類速度是很快的。

來個例子了解下決策樹分類過程，以女生相親挑「高富帥」為例吧，遇到已婚的肯定是不交往了，在未婚的情況下接著要看是否有房產，沒有的話也免談了，有房產那麼繼續看身高，180cm以上的接受，而180cm以下則再看有沒有兩套房，有則可以彌補身高不足，否則則拒絕。

一般一棵決策樹包含了乙個根節點、若干個內部節點（圖中圓形節點）和若干個葉節點（圖中方形節點），內部節點用於描述一種屬性，而葉節點用來表示分類的結果。

從例子來看，假設這是乙個貸款是否批准的樣本，根據這個樣本怎樣建立乙個決策樹？

編號房產

婚姻月收入

是否批准 1

有

機器學習之決策樹

在這裡，我想以更直觀的方式幫助各位理解 掌握並且運用 注意 是運用 決策樹，從而為機器學習作鋪墊。ps 但還是希望大家稍微知道決策樹大概是什麼樣子。1.根結點 root node 沒有入邊，但有零條或多條出邊 2.內部結點 internal node 恰有一條入邊和 兩條或多條出邊 3.葉結點 le...

機器學習之決策樹

簡介 決策樹是一種基本的分類方法，當然也可以用於回歸。我們一般只討論用於分類的決策樹。決策樹模型呈樹形結構。在分類問題中，表示基於特徵對例項進行分類的過程，它可以認為是if then規則的集合。在決策樹的結構中，每乙個例項都被一條路徑或者一條規則所覆蓋。通常決策樹學習包括三個步驟 特徵選擇 決策樹的...

機器學習之決策樹

1.利用資訊增益來進行決策樹的屬性劃分時選擇屬性的資訊增益較大的。資訊增益準則對可取值數目較多的屬性有多偏好 id3 增益率準則對可取值數目較少的屬性有多偏好 c4.5 因此，c4.5演算法並不是直接選擇增益率較大的時候選劃分屬性，而是使用了乙個啟發式 先從候選屬性中找出資訊增益高於平均水平的屬性，...