陳天奇的xgboost在kaggle中大放異彩，下面網友講解gbdt和xgboost的區別
.com/question/41354392
.net/hb707934728/article/details/70739040
gbdt和xgboost都是多個分類和回歸樹的組合，xgboost、gbdt這類演算法和隨機森林最大的區別是，一種是有互相依賴的（boost），一種是沒有互相依賴的（盡量做到沒有互相依賴，bagging），在現實場景中為什麼xgboost會好一點，我自己的理解是我目前碰到的場景，明顯是有依賴關係的更多，比如特徵之間總是有一定的聯絡的。
gbdt和xgboost都是基於目標函式+正則化，然後通過目標函式的損失值最小，然後計算找到樹中**的計算依據（類似資訊熵和gini係數），資訊熵和gini係數是事先定義好的**函式的方法，而gbdt和xgboost根據目標函式的損失值最小進行建模最終生成樹的**函式。
陳天奇xgboost的ppt
GBDT和XGBoost的區別
1 gbdt是機器學習演算法，而xgboost是演算法的工程實現 2 使用cart作為基分類器時，xgboost顯式的加入了正則項來控制模型的複雜度，防止過擬合，提高了模型 的泛化能力 3 gbdt只使用了代價函式的一階導數資訊，而xgboost對代價函式進行二階泰勒展開，同時使用一階和二階資訊。4...
機器學習 GBDT和XGBoost的區別
一 gbdt原理 1 簡介 gbdt是乙個基於迭代累加的決策樹演算法，它通過構造一組弱的學習器 樹 並把多顆決策樹的結果累加起來作為最終的 輸出。他的核心就是累加所有樹的結果最為最終結果 但實際上並不是簡單的疊加 gbdt中的樹都是回歸樹，構建每棵樹的時候，我們會對特徵和樣本同時取樣 引用rf思想 ...
xgboost與GBDT區別 優勢
傳統gbdt以cart作為基分類器，xgboost還支援線性分類器，這個時候xgboost相當於帶l1和l2正則化項的邏輯斯蒂回歸 分類問題 或者線性回歸 回歸問題 傳統gbdt在優化時只用到一階導數資訊，xgboost則對代價函式進行了二階泰勒展開，同時用到了一階和二階導數。順便提一下，xgboo...