整合學習經典一類演算法，屬於個體學習器間存在較強依賴關係的一類，需以序列的序列化生成方法構建。
原理：所有弱分類器結果相加等於**值，下乙個弱分類器去擬合誤差函式對**值的殘差（**值與真實值的誤差）這裡的弱分類器是決策樹。
舉例：用gbdt的方法**年齡
step1 在第乙個弱分類器中隨機選擇乙個數字擬合，發現誤差是10
step2 在第二個弱分類器中，隨機選乙個數字擬合上乙個弱分類器的誤差，發現誤差是4
step3 最終誤差為0，擬合結束
幾個弱分類器的結果求和即為最終結果
gbdt需要將多棵樹的得分累加得到最後的**結果，且每一次迭代都在現有樹的基礎上增加一棵樹去擬合前面樹的**結果與真實值的殘差
優點**階段速度快，樹與樹之間可平行計算
泛化能力強
缺點對於高維稀疏的資料集表現不如svm或nn
適用於處理數值類特徵，不適用於如文字分類特徵問題
訓練過程需要序列訓練，訓練用時長
共同點：
由多棵樹組成，結果也是由多棵樹共同決定
rf和gbdt在使用cart時，都可是分類或回歸樹
不同點rf的樹採用bagging思想，可並行生成；gbdt的樹採用boosting思想，序列生成
rf結果由多數表決（投票）得出，gbdt是多棵樹累加和
rf對異常值不敏感，gbdt對異常值較敏感
rf是減少模型的方差，gbdt是減少模型的誤差
rf不需要特徵歸一化，gbdt需要特徵歸一化
GBDT 梯度提公升決策樹
gbdt gradient boosting decision tree 又叫 mart multiple additive regression tree 是一種迭代的決策樹演算法，該演算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和svm一起被認為是泛化能力較強的演算法。...
梯度提公升決策樹 GBDT）
以決策樹為基函式的提公升方法稱為提公升樹。決策樹可以分為分類樹和回歸樹。提公升樹模型可以表示為決策樹的加法模型。針對不同的問題的提公升術演算法的主要區別就是損失函式的不同，對於回歸問題我們選用平方損失函式，對於分類問題，我們使用指數損失函式。特別的，對於二分類問題，我們提公升樹就是把adaboost...
梯度提公升決策樹（GBDT）演算法
gbdt gradient boosting decision tree，梯度提公升決策樹 由名字可以看出涉及到三點 1 boosting 簡單講，就是每次訓練單個弱學習器時，都將上一次分錯的資料權重提高一點再進行當前單個弱學習器的學習。這樣越往後執行，訓練出的單個弱學習器就會越在意那些容易分錯 權...