以決策樹為基函式的提公升方法稱為提公升樹。決策樹可以分為分類樹和回歸樹。提公升樹模型可以表示為決策樹的加法模型。
針對不同的問題的提公升術演算法的主要區別就是損失函式的不同，對於回歸問題我們選用平方損失函式，對於分類問題，我們使用指數損失函式。特別的，對於二分類問題，我們提公升樹就是把adaboost的基分類器選為二分類樹即可。
對於回歸問題的提公升樹，我們每一步都是在擬合殘差，為什麼是在擬合殘差？，看公式
其中，r代表的就是殘差。我們並不是說我們在擬合殘差，而是說我們對於回歸問題，選用平方損失函式，然後推導求解fm時，可以認為它是在擬合殘差。
對應的回歸問題的提公升演算法如下：
（1）初始化f0
（2）對m = 1,2,3...,m
(2.1) 計算每乙個資料的殘差：
（2.2）擬合殘差學習一顆回歸樹，得到
（2.3）
（3）得到回歸問題的提公升樹
以上就是提公升樹的內容，主要理解為什麼說提公升樹是擬合殘差的，數學推導
梯度提公升的思想主要借鑑了梯度下降法。
GBDT 梯度提公升決策樹
gbdt gradient boosting decision tree 又叫 mart multiple additive regression tree 是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和svm一起被認為是泛化能力較強的演算法。...
梯度提公升決策樹 GBDT
整合學習經典一類演算法，屬於個體學習器間存在較強依賴關係的一類，需以序列的序列化生成方法構建。原理 所有弱分類器結果相加等於 值，下乙個弱分類器去擬合誤差函式對 值的殘差 值與真實值的誤差 這裡的弱分類器是決策樹。舉例 用gbdt的方法 年齡 step1 在第乙個弱分類器中隨機選擇乙個數字擬合，發現...
梯度提公升決策樹（GBDT）演算法
gbdt gradient boosting decision tree，梯度提公升決策樹 由名字可以看出涉及到三點 1 boosting 簡單講，就是每次訓練單個弱學習器時，都將上一次分錯的資料權重提高一點再進行當前單個弱學習器的學習。這樣越往後執行，訓練出的單個弱學習器就會越在意那些容易分錯 權...