1.model ensemble 可以分為三大類：bagging，boosting， stacking.
2.boosting可以說是乙個思想（框架），而adaboost等演算法只是其乙個子類，記得iccv2015有乙個結合cnn和boosting的工作獲得了best ***** award？：
3.boosting的前向分布演算法（在每一步求解弱分類器φ(m)和其引數w(m)的時候不去修改之前已經求好的分類器和引數）：
1.決策樹的入門介紹參考: 演算法雜貨鋪——分類演算法之決策樹(decision tree)
2.決策樹的特徵選擇: 1）資訊增益， 2）資訊增益比
3.決策樹的生成演算法：1）id3演算法–根據資訊增益； 2）c4.5演算法–根據資訊增益比； 3）cart（包括回歸和分類；二叉樹生成）
4.決策樹的剪枝：其實就是乙個loss和t（表示決策樹結點個數）trade off的過程
5.具體細節參考:《統計學習方法–李航》
GBDT理解二三事
一 要理解gbdt當然要從gb gradient boosting 和dt decision tree 兩個角度來理解了 二 gb其實是一種理念，他並不是這乙個具體的演算法，意思是說沿著梯度方向，構造一系列的弱分類器函式，並以一定權重組合起來，形成最終決策的強分類器 注意，這裡的梯度下降法是在函式空...
GBDT演算法（最簡單）
3.gbdt的優點和侷限性有哪些？4.rf 隨機森林 與gbdt之間的區別與聯絡 5.實現 gbdt gradient boosting decision tree 全名叫梯度提公升決策樹，使用的是boosting的思想。boosting方法訓練基分類器時採用序列的方式，各個基分類器之間有依賴。它的...
個人對GBDT的理解
廢話不多說，首先dt即決策樹，gbdt使用的樹是回歸樹，生成方法見cart回歸樹。gbdt是提公升 boosting 方法的一種,但他不是adaboost，我們常使用adaboost進行分類，建議不要將gbdt和adaboost聯絡起來看。看下提公升樹模型的原理，它是個加法模型 其推導過程如下，使用...