一、gbdt原理
1、簡介
gbdt是乙個基於迭代累加的決策樹演算法，它通過構造一組弱的學習器（樹），並把多顆決策樹的結果累加起來作為最終的**輸出。
他的核心就是累加所有樹的結果最為最終結果（但實際上並不是簡單的疊加），gbdt中的樹都是回歸樹，構建每棵樹的時候，我們會對特徵和樣本同時取樣（引用rf思想）
2、公式推導
3、優缺點
優點：非線性變換多，表達能力強，而且不需要做複雜的特徵工程和特徵變換
缺點：gbdt也是boost演算法，不好並行化，而且計算複雜度高，不太適合高維特徵
二、xgboost
具體推導過程可以看另一篇部落格
機器學習 GBDT
在gbdt的迭代中，假設前一輪迭代得到的強學習器 ft 1 x f x ft 1 x 損失函式 l y ft 1 x l y,f x l y,ft 1 x 本輪迭代的目標是找到乙個cart回歸樹模型的弱學習器ht x h t x ht x 讓本輪的損失函式l y ft x l y,f t 1 x h...
機器學習 GBDT
基礎概念 gbdt gradient boosting decision tree 全稱梯度提公升決策樹，是一種迭代的決策樹演算法。gbdt是整合學習boosting的家族成員，gbdt中的樹是回歸樹，用於回歸 調整後也可以用於分類。分類樹與回歸樹的差異 分類樹大致的實現過程是 窮舉每乙個屬性特徵的...
機器學習 整合學習GBDT
gbdt也是整合學習boosting的其中一種，boosting是由多個弱學習器組成，與bagging不同，boosting學習器之間有關聯的關係。adaboost是通過前面的學習器模型來決定當前的學習器模型的每個樣本的權重，然後計算出當前學習器組合權重，最後將學習器線性組合起來。而gbdt則是通過...