這採用boosting的思想，把表現一般的學習器通過一定的方法結合成效果相對比較好的學習器
gbdt是提公升樹的一種，是多棵樹的加權結果。採用的是分類回歸樹(cart)，樹的劃分採用基尼係數。
採用前向分布演算法
**1 gbdt為什麼是用負梯度代替殘差？
首先這是邏輯上顛倒的錯誤。實質沒有明白gbdt是怎麼回事
gbdt當前樹學習的就是負梯度，只不過損失函式是mse時，負梯度是殘差。
知乎上的解釋
2 daboost與gbdt的區別
這兩者都是採用boosting的思想，把表現一般的學習器通過一定的方法結合成效果相對比較號的學習器。
知乎大牛的回答
損失函式：
adaboost採用指數損失，gbdt可以採用多種損失函式，mse，對數損失等。
定位模型的不足的方法：
adaboost是通過提公升錯分數據點的權重來定位模型的不足而gradient boosting是通過算梯度（gradient）來定位模型的不足
3 gbdt 與xgboost的區別
炒的
梯度提公升樹GBDT
上一節我們講了adaboost，而提公升樹也是提公升方法的一種，它的基分類器為分類樹或者回歸樹。ps 首先我們講一下殘差的概念 殘差是指實際值和估計值之間的差，就是相減。一般提公升樹的模型的損失函式是平方損失和對數損失，所以優化很簡單。但是對一般損失函式而言就有困難，所以又有了梯度提公升演算法，然後...
梯度提公升樹GBDT
gbdt全稱gradient boosting decision tree，即用gradient boosting策略訓練出來的決策樹模型。模型的結果是一組cart樹 回歸分類樹 的組合 t 1,t k 其中 t j 學習的是之前 j 1 棵樹 結果的殘差。這種思想就像準備考試前的複習，先做一遍習題...
梯度提公升樹GBDT
gbdt是boosting家庭中，除adaboost外另乙個重要的演算法。演算法思想同樣是讓本輪迭代找到的決策樹的損失比上輪更小。用損失函式負梯度來擬合本輪損失近似值，進而擬合乙個cart回歸樹。第t輪的第i個樣本的損失函式的負梯度表示為 r frac x 利用 x i,r quad i 1,2,m...