引用：《西瓜書》其中葉節點對應於決策結果，其他各個節點對應於乙個屬性。
決策樹的目的是為了生成一棵泛化能力強、即處理未見示例能力強的決策樹。基本流程是分而治之。
決策樹乙個遞迴過程
由上圖可看出，決策樹學習的關鍵是第8行，即如何選擇最優劃分屬性。一般而言，隨著劃分過程不斷進行，我們希望決策樹的分支節點所包含的樣本盡可能屬於同一類別，即」節點」的純度(purity)越來越高。
資訊熵
度量純度的一種指標 h(
x)=∑
i=0n
−1p(
xi)i
(xi)
=−∑i
=0n−
1p(x
i)lo
g(p(
xi))
h越小，純度越高
資訊增益
此處略(挺複雜)
結果過擬合問題
機器學習筆記 決策樹學習
決策樹學習是一種逼近離散值目標函式的方法，在這樣的方法中學習到的函式被表示為一棵決策樹。表示法 把例項從根節點排列到某個葉子節點來分類例項，葉子節點即為例項所屬的分類。樹上的每個節點指定了對例項的某個屬性 attribute 的測試，而且該節點的每個字尾分支相應於該屬性的乙個可能值。分類例項的方法是...
機器學習 決策樹
一 基本概念 決策樹 decision tree 是一種基本的分類與回歸方法。決策樹模型呈樹形結構，在分類問題中，表示屬於特徵對例項進行分類的過程，它可以認為是if then規則的集合，也可以認為是電議在特徵空間與類空空上的條件概率分布，其主要優點是模型具有可讀性，分類速度快。決策樹的學習通常包括3...
機器學習 決策樹
我覺得決策樹是機器學習所有演算法中最可愛的了 沒有那麼多複雜的數學公式哈哈 下圖是一棵決策樹，用來判斷西瓜是好瓜還是壞瓜 決策過程中提出的每個判定問題都是都對某個屬性的測試，每個測試結果要麼推導出最終結論，要麼匯出進一步判斷的問題，在上次決策結果限定的範圍內做進一步判斷。從上圖可以看出，葉節點對應決...