參考：1、
2、3、
cart回歸樹建立節點時，是最小化均方誤差來求，cart回歸樹的度量目標是，對於任意劃分特徵a，對應的任意劃分點s兩邊劃分成的資料集d1和d2，求出使d1和d2各自集合的均方差最小，同時d1和d2的均方差之和最小所對應的特徵和特徵值劃分點。所以最後求的值為均值。
gbdt在建立單棵樹時，劃分節點的標準是根據損失函式最小，不是基尼係數來確定，損失函式不一樣，確定方式不一樣，所以最後**的葉子節點可能不是均值。同時在gbdt的推導過程中參考2、3（有個引數本來控制的是針對模型的，其對每個葉子都一樣，而優化後的模型，其是每個葉子都選出了最適配的ctj，這個引數就是3中的伽馬。），所以會有不一樣的表達方式。
gbdt各個基模型的累加意義，對於回歸問題，相當於擬合殘差，對於分類問題，會把值對映成乙個概率值，然後具有了累加意義。
GBDT 梯度提公升決策樹
gbdt gradient boosting decision tree 又叫 mart multiple additive regression tree 是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和svm一起被認為是泛化能力較強的演算法。...
從決策樹到GBDT
首先，決策樹分為分類樹和回歸樹。gbdt中的樹是回歸樹 不是分類樹 gbdt用來做回歸 調整後也可以用於分類。以下羅列了比較好的學習資源，看完就可以掌握gbdt了 決策樹參考 分類樹回歸樹區別參考 分類樹 以c4.5分類樹為例，c4.5分類樹在每次分枝時，是窮舉每乙個feature的每乙個閾值，找到...
梯度提公升決策樹 GBDT
整合學習經典一類演算法，屬於個體學習器間存在較強依賴關係的一類，需以序列的序列化生成方法構建。原理 所有弱分類器結果相加等於 值，下乙個弱分類器去擬合誤差函式對 值的殘差 值與真實值的誤差 這裡的弱分類器是決策樹。舉例 用gbdt的方法 年齡 step1 在第乙個弱分類器中隨機選擇乙個數字擬合，發現...