4， gbdt和隨機森林的相同點：
1、都是由多棵樹組成
2、最終的結果都是由多棵樹一起決定
5，gbdt和隨機森林的不同點：
1、組成隨機森林的樹可以是分類樹，也可以是回歸樹；而gbdt只由回歸樹組成
2、組成隨機森林的樹可以並行生成；而gbdt只能是序列生成
3、對於最終的輸出結果而言，隨機森林採用多數投票等；而gbdt則是將所有結果累加起來，或者加權累加起來
4、隨機森林對異常值不敏感，gbdt對異常值非常敏感
5、隨機森林對訓練集一視同仁，gbdt是基於權值的弱分類器的整合
6、隨機森林是通過減少模型方差提高效能，gbdt是通過減少模型偏差提高效能
隨機森林和gbdt結合 隨機森林和GBDT的學習
前言 提到森林，就不得不聯想到樹，因為正是一棵棵的樹構成了龐大的森林，而在本篇文章中的 樹 指的就是decision tree 決策樹。隨機森林就是一棵棵決策樹的組合，也就是說隨機森林 boosting 決策樹，這樣就好理解多了吧，再來說說gbdt，gbdt全稱是gradient boosting ...
隨機森林 Boost和GBDT
若干決策樹組成，每乙個決策樹很小，只有問題屬性中的一小個子集，然後將所以小的決策樹組合起來，用投票法決定分類。在資料集上表現良好 在當前的很多資料集上，相對其他演算法有著很大的優勢 它能夠處理很高維度 feature很多 的資料，並且不用做特徵選擇 why？在訓練完後，它能夠給出哪些feature比...
隨機森林（RF）與GBDT的異同
相同點 好吧，其實相同點不太好說，如果非要說的話，那就是它們都是由多棵樹組成，最終結果由這多棵樹一起決定 其實中間的細節還是不一樣 1 都是由多棵樹組成 2 最終的結果都是由多棵樹一起決定 不同點 1 從整合學習來說，rf屬於的bagging 稍微有點改變，增加了列抽樣 而gbdt屬於boostin...