相同點：
好吧，其實相同點不太好說，如果非要說的話，那就是它們都是由多棵樹組成，最終結果由這多棵樹一起決定（其實中間的細節還是不一樣）。
1、都是由多棵樹組成
2、最終的結果都是由多棵樹一起決定
不同點：
（1）從整合學習來說，rf屬於的bagging（稍微有點改變，增加了列抽樣），而gbdt屬於boosting；
（2）從偏差-方差權衡來說，rf不斷的降低模型的方差，gbdt不斷的降低模型的偏差；
（3）從訓練樣本來說，rf每次迭代的樣本是從全部訓練集中有放回抽樣形成的，而gbdt每次使用全部樣本；
（4）從訓練過程來說，rf可以並行訓練，而gbdt只能序列（必須等上一棵樹ok了）；
（5）從結果來說，rf最終是多棵樹進行多數表決，而gbdt是加權融合；
（6）從對資料的要求來說，rf對異常值不敏感，gbdt很敏感；
（7）從泛化能力來說，rf不易過擬合，gbdt容易。
隨機森林RF
隨機森林的一般步驟 採用bagging的方法可以降低方差，但不能降低偏差 公式法分析bagging法模型的方差問題 假設子資料集變數的方差為，兩兩變數之間的相關性為 所以，bagging法的方差 由 4 式可得，bagging法的方差減小了 結論 bagging法的模型偏差與子模型的偏差接近，方差較...
隨機森林和gbdt結合 隨機森林和GBDT的學習
前言 提到森林，就不得不聯想到樹，因為正是一棵棵的樹構成了龐大的森林，而在本篇文章中的 樹 指的就是decision tree 決策樹。隨機森林就是一棵棵決策樹的組合，也就是說隨機森林 boosting 決策樹，這樣就好理解多了吧，再來說說gbdt，gbdt全稱是gradient boosting ...
隨機森林模型（RF）
隨機森林屬於整合學習 ensemble learning 中的bagging演算法。bagging bootstrap aggregating bagging即套袋法，其演算法過程如下 a 從原始樣本集中抽取訓練集。每輪從原始樣本集中使用bootstraping的方法抽取n個訓練樣本 有放回的抽樣 ...