決策樹是一種基本的分類與回歸方法，它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。一棵決策樹的生成過程主要分為以下3個部分:決策樹分類器就像判斷模組和終止塊組成的流程圖，終止塊表示分類結果（也就是樹的葉子）。判斷模組表示對乙個特徵取值的判斷（該特徵有幾個值，判斷模組就有幾個分支）。
熵:給了我們一種度量不確定性的方式，是用來衡量隨機變數不確定性的,設x是乙個取有限個值的離散隨機變數，他的概率分布為
ｐ（ｘ＝ｘｉ）= pi i=1 2 3 4 ….n
則隨機變數的熵就定義為 ：
機器學習基礎學習 決策樹
決策樹是一種基本的分類與回歸方法，它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖，終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值，判斷模組就有幾個分支 一...
機器學習基礎學習 決策樹
決策樹是一種基本的分類與回歸方法，它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖，終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值，判斷模組就有幾個分支 一...
機器學習基礎 決策樹
決策樹演算法是機器學習中最經典的演算法之一。大家可能聽過一些高深的演算法，例如在競賽中經常使用的xgboost 各種整合演算法等，他們都是基於樹模型來建立的，所以掌握那些模型，首先我們需要掌握決策樹。樹 有乙個根節點，由根結點開始，不斷的擴充套件，最終到達葉子結點，葉子結點就是最終的點，後面就無法擴...