決策樹 回歸

決策樹常用於分類問題，但是也能解決回歸問題。

在回歸問題中，決策樹只能使用cart決策樹，而cart決策樹，既可以分類，也可以回歸。

所以我們說的回歸樹就是指cart樹。

為什麼只能是cart樹

1. 回想下id3，**後需要計算每個類別佔總樣本的比例，回歸哪來的類別，c4.5也一樣

2. 回歸問題肯定是連續屬性，所以只能二劃分，而cart樹是強制的二叉樹

回歸樹的**

**方法與決策樹處理連續屬性無異，**評價有所不同。

分類cart樹用的gini係數，回歸cart樹可以用多種評價指標

cm為葉子節點的均值

最小化l2誤差

mae

y1-,y2-(平均)分別表示以當前屬性作為劃分選擇時各自對應的集合s1和s2目標值的均值，也有取中位數的，可以自己定

最小化l1誤差

也可以嘗試其他回歸評價指標

防止過擬合

通過剪枝提高模型的泛化能力，如

sse=sse+γt

t表示樹的規模，如葉節點的個數，γ為懲罰係數，可以自定義，值越大樹的規模越小

示例**

from sklearn import

tree
x = [[0, 0], [1, 1], [2, 2], [6, 6], [8, 8], [10, 10]]
y = [0.5, 0.8, 1, 7.5, 8.5, 9]
clf = tree.decisiontreeregressor(max_depth=2)
clf =clf.fit(x, y)
print clf.predict([[1, 1.5]])       #
0.9print clf.predict([[3, 5]])         #
0.9print clf.predict([[10, 12]])       #
8.75

決策樹（二）決策樹回歸

回歸 決策樹也可以用於執行回歸任務。我們首先用sk learn的decisiontreeregressor類構造一顆回歸決策樹，並在乙個帶雜訊的二次方資料集上進行訓練，指定max depth 2 import numpy as np quadratic training set noise np.r...

回歸決策樹

決策樹是處理分類的常用演算法，但它也可以用來處理回歸問題，其關鍵在於選擇最佳分割點，基本思路是 遍歷所有資料，嘗試每個資料作為分割點，並計算此時左右兩側的資料的離差平方和，並從中找到最小值，然後找到離差平方和最小時對應的資料，它就是最佳分割點。sklearn.tree.decisiontreereg...

決策樹 回歸樹

回歸樹重要介面 交叉驗證 1 如何確定最佳節點和最佳分支 2 決策數什麼時候停止生長 防止過擬合 from sklearn import tree 匯入需要的模組 clf tree.decisiontreeclassifier 例項化 clf clf.fit x train,y train 訓練集資...