原始的gbdt演算法基於經驗損失函式的負梯度來構造新的決策樹，只是在決策樹構建完成後再進行剪枝。而xgboost在決策樹構建階段就加入了正則項。
1. gbdt是機器學習演算法，xgboost是該演算法的工程實現。
2. 在使用cart作為基分類器時，xgboost顯式地加入了正則項來控制模型的複雜度，有利於防止過擬合，從而提高模型的泛化能力。
3. gbdt在模型訓練時只使用了代價函式的一階導數資訊，xgboost對代價函式進行二階泰勒展開，可以同時使用一階和二階導數。
4. 傳統的gbdt採用cart作為基分類器，xgboost支援多種型別的基分類器，比如線性分類器。
5. 傳統的gbdt在每一輪迭代時使用全部的資料，xgboost則採用了與隨機森林相似的策略，支援對資料進行取樣。
6. 傳統的gbdt沒有設計對缺失值進行處理，xgboost能夠自動學習出缺失值的處理策略。
xgboost與GBDT區別 優勢
傳統gbdt以cart作為基分類器，xgboost還支援線性分類器，這個時候xgboost相當於帶l1和l2正則化項的邏輯斯蒂回歸 分類問題 或者線性回歸 回歸問題 傳統gbdt在優化時只用到一階導數資訊，xgboost則對代價函式進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboo...
xgboost與GBDT區別 優勢
傳統gbdt以cart作為基分類器，xgboost還支援線性分類器，這個時候xgboost相當於帶l1和l2正則化項的邏輯斯蒂回歸 分類問題 或者線性回歸 回歸問題 傳統gbdt在優化時只用到一階導數資訊，xgboost則對代價函式進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboo...
Xgboost的特點（與GBDT對比）
xgboost是在gbdt上進行改進的模型，其主要的特點是做了下面的工作，對了樹每次做 候選時，是使用的gain增益，而不是普通的gini指數或者均方差，是一種優化過的誤差計算.1 將樹模型的複雜度加入到正則項中，參與到損失函式，來避免過擬合問題。葉子打分就是 值，分類問題是給的概率 2 對損失函式...