隨機森林與adaboost兩者均歸屬於整合學習演算法，隨機森林是bagging方法，adaboost是boosting方法。
我們先來比較一下boosting方法和bagging方法的區別：
1.在樣本選擇上：
boosting每一輪的訓練集是不變的，改變的只是每乙個樣本的權重；
bagging採用的是bootstrap隨機有放回抽樣。
2.在樣本權重上：
boosting根據錯誤率調整樣本權重，錯誤率越大的樣本權重越大；
bagging使用的是均勻取樣，每個樣本權重相等。
3.在平行計算上：
boosting各個**函式必須按順序迭代生成；
bagging各個**函式可以並行生成。
4.在**函式上：
boosting中誤差越小的**函式其權重越大；
bagging所有的**函式的權重相等。
然後我們再來比較隨機森林和adaboost的區別：
相同之處：
二者都是要訓練很多棵決策樹；
二者都是bootsrap自助法選取樣本。
不同之處：
隨機森林在訓練每一棵樹的時候，隨機挑選了部分變數作為拆分變數，而不是所有的變數都去作為拆分變數。
adaboost後面樹的訓練，其在變數抽樣選取的時候，對於上一棵樹分錯的樣本，抽中的概率會加大。
在**新資料時：
adaboost中所有的樹加權投票來決定因變數的**值，每棵樹的權重和錯誤率有關；
隨機森林按照所有樹中少數服從多數樹的分類值來決定因變數的**值。
adaboost的優點：
1.adaboost是一種有很高精度的分類器；
2.可以使用各種方法構建子分類器,adaboost演算法提供的是框架；
3.當使用簡單分類器時,計算出的結果是可以理解的,而且弱分類器構造極其簡單；
4.簡單,不用做特徵篩選；
5.不用擔心overfitting。
隨機森林的優點：
1.對於很多種資料，它可以產生高準確度的分類器；
2.它可以處理大量的輸入變數；
3.它可以在決定類別時，評估變數的重要性；
4.在建造森林時，它可以在內部對於一般化後的誤差產生不偏差的估計。
以上是這次的總結內容，歡迎指正與補充。
AdaBoost與隨機森林 簡單區別
首先明確乙個大方向 強可學習和弱可學習是等價的。所以，弱可學習方法可以提公升為強可學習方法。adaboost最具代表性。對於提公升方法，有兩個問題需要回答 adaboost的做法 不改變所給的訓練資料，而不斷改變訓練資料權值的分布，使得訓練資料在基本分類器的學習中起不同的作用，這就是adaboost...
AdaBoost與隨機森林區別
首先明確乙個大方向 強可學習和弱可學習是等價的。所以，弱可學習方法可以提公升為強可學習方法。adaboost最具代表性。對於提公升方法，有兩個問題需要回答 adaboost的做法 不改變所給的訓練資料，而不斷改變訓練資料權值的分布，使得訓練資料在基本分類器的學習中起不同的作用，這就是adaboost...
隨機森林和Adaboost對比
隨機森林和adaboost演算法都可以用來分類，它們都是優秀的基於決策樹的組合演算法。相對於經典線性判別分析，其分類效果一般要好很多。boosting方法 提公升學習 boosting 是一種機器學習技術，可以用於回歸和分類的問題，它每一步產生弱 模型 如決策樹 並加權累加到總模型中 如果每一步的弱...