前面我們講了線性回歸和樸素貝葉斯分類模型。前者只能做回歸，後者只能做分類。但本文中要講的決策樹模型，卻既可以用於分類，又可以用於回歸。
什麼是決策樹
決策樹是一種非常基礎又常見的機器學習模型。
一棵決策樹（decision tree）是乙個樹結構（可以是二叉樹或非二叉樹），每個非葉節點對應乙個特徵，該節點的每個分支代表這個特徵的乙個取值，而每個葉節點存放乙個類別或乙個回歸函式。
使用決策樹進行決策的過程就是從根節點開始，提取出待分類項中相應的特徵，按照其值選擇輸出分支，依次向下，直到到達葉子節點，將葉子節點存放的類別或者回歸函式的運算結果作為輸出（決策）結果。
決策樹的決策過程非常直觀，容易被人理解，而且運算量相對小。它在機器學習當中非常重要。如果要列舉「十大機器學習模型」的話，決策樹應當位列前三。
直觀理解決策樹
下圖是乙個決策樹的例子：
這棵樹的作用，是對要不要接受乙個 offer 做出判斷。
我們看到，這棵樹一共有7個節點，其中有4個葉子節點和3個非葉子節點。它是一棵分類樹，每個葉子節點對應乙個類別。
那麼有4個葉子節點，是說一共有4個類別嗎？當然不是！從圖中我們也可以看出，總共只有2個類別：accept offer（接受）和 decline offer（拒絕）
決策樹 分類 回歸
決策樹，主要用來分類和回歸 一 首先看下分類決策樹 載入鳶尾花資料集 from sklearn.datasets import load iris iris load iris x,y iris.data,iris.target features iris.feature names 載入交叉驗證莫...
決策樹（分類與回歸）
首先我們要知道，決策樹是根據訓練集構造乙個樹結構，每個分叉相當於一次判斷，每個葉子節點就是模型的輸出。如下圖所示 以輸入特徵為離散值的分類決策樹為例，周志華老師 機器學習 給出的演算法偽 決策樹分類演算法選擇最優屬性演算法常用資訊增益法。首先了解資訊熵，它的公式如下 e nt d k 1 y pkl...
決策樹 決策樹引數介紹（分類和回歸）
前面總結了資訊熵，資訊增益和基尼資訊的定義，以及決策樹三大演算法的原理及迭代過程，今天介紹下python中機器學習sklearn庫中決策樹的使用引數 決策樹既可以做分類，也可以做回歸，兩者引數大體相近，下面會先介紹分類，再對回歸不一樣的引數做單獨說明 1 criterion 特徵選取方法，可以是gi...