一般的，一棵決策樹包含乙個根節點，若干個內部節點和若干個葉節點。
決策學習的目的是為了產生一棵泛化能力強，即處理未見示例能力強的決策樹。
決策樹學習的關鍵是如何選擇劃分屬性。隨著劃分過程的不斷進行，我們希望決策樹的分支節點所包含的樣本盡可能屬於同一類別，即節點的「純度」越來越高。
（1）資訊增益
資訊熵是度量樣本集合純度最常用的一種指標。
資訊增益越大，則意味著使用屬性a來進行劃分所獲得的「純度提公升」越大。（id3演算法）
資訊增益準則對可取值數目較多的屬性有所偏好。
（2）使用增益率選擇最優劃分屬性。（c4.5演算法）
增益率準則對可取值數目較少的屬性有所偏好。
（3）基尼指數
cart決策樹
預剪枝
後剪枝（1）連續值處理
（2）缺失值處理
機器學習 第四章 決策樹
決策樹原理介紹 決策樹 decision tree 是一類常見的機器學習方法，目的是為了產生一棵泛化能力強，即處理未見示例能力強的決策樹。劃分選擇 決策樹學習的關鍵在於，在每個 節點處如何選擇最優劃分屬性。一般而言，隨著劃分過程不斷進行，我們希望決策樹的分支節點所包含的樣本盡可能屬於同一類別，即節點...
西瓜書 第四章 決策樹總結
1 什麼是決策樹 2 知道決策樹的學習目的和基本策略 分而治之 3 掌握決策樹演算法，知道有哪三種情況會導致遞迴返回 1 掌握基本概念和計算公式 資訊熵，資訊增益 著名的id3 增益率 c4.5演算法 基尼係數 cart演算法 2 知道該如何去選擇合適的劃分方法 1 為什麼要進行剪紙處理 對付 過擬...
《機器學習》第四章決策樹答案
1 證明對於不含衝突資料 即特徵向量完全相同但標記不同 的訓練集，必存在與訓練集一致 即訓練誤差為0 的決策樹 anser 1 假設不存在與訓練集一致的決策樹，那麼訓練集訓練得到的決策樹至少有乙個節點上存在無法劃分的多個資料 若節點上沒有衝突資料，那麼總是能夠將資料分開的 這與前提 不含衝突資料 矛...