bagging、隨機森林是ensemble整合演算法之一
1、模型
整合演算法，弱分類器或基模型一般為cart樹，可分類可回歸，判別模型
2、策略
bagging演算法對樣本重取樣，分別構造決策樹，並由各決策樹的分類結果進行投票或取平均
隨機森林（rf）與bagging的區別是除了樣本重取樣外還要特徵取樣，此外無差。
3、演算法
決策樹構造原理此處略，參照決策樹章節
決策樹間，採用平均或投票制
4、優缺點
優點：
降低方差，泛化能力強
並行化
可以得到特徵重要性
相比於boosting，計算簡單
缺點：
在某些雜訊比較大的樣本集上，容易過擬合
補充：bagging和隨機森林以降低方差為目的，boosting以降低偏差為目的
機器學習中的bagging技巧
bagging是增強原演算法的一種手段。神經網路 分類問題 回歸問題 線性回歸中的子集選擇問題 k最近鄰演算法都可以使用bagging來加強。使用bagging加強後的演算法的效能會出現一些有規律的變化。一般而言，若原來的演算法的穩定性差，使用bagging後，演算法的準確率會得到較大程度的提高。若...
機器學習（五） Bagging與Boosting
bagging bagging breiman,1996 通過訓練許多基本分類器進行投票分類，每種基本分類器 如決策樹，神經網路 通過投票的方式降低偏差增加方差。假設我們的任務是使用訓練資料學習乙個模型 q 這些公式的含義？boosting boosting freund shapire,1996 ...
機器學習（十） 隨機森林與Bagging
確保了解決策樹，決策樹 子樹 從原資料集中有放回的選擇相同數量 和原資料集數量相同 樣本，並選擇部分屬性，以選擇的樣本和屬性進行cart決策樹構建 隨機森林就是並行的構建t個子樹的過程。構建完畢後，對於乙個 數，使用構建好的t個子樹進行 取最多的 結果作為隨機森林的 結果。完畢，以上就是隨機森林的梗...