bagging是增強原演算法的一種手段。
神經網路、分類問題、回歸問題、線性回歸中的子集選擇問題、k最近鄰演算法都可以使用bagging來加強。
使用bagging加強後的演算法的效能會出現一些有規律的變化。一般而言，若原來的演算法的穩定性差，使用bagging後，演算法的準確率會得到較大程度的提高。若原來的演算法的穩定性高，則使用bagging後，演算法的準確率會略微降低。因此，在考慮使用bagging之前，要先知道原演算法的穩定性。
研究表明，神經網路、分類問題、回歸問題、線性回歸中的子集選擇問題都是不穩定的，而k最近鄰演算法是穩定的breiman [1994]。
設有資料集l=,其中y是數值或者類別。記phi(x,l)是乙個**器，其中輸入是x，輸出的y是演算法由x得到的**值。
如果我們有一組資料集,其中每個資料集由n個來自資料集l相同分布的觀測值組成，那麼我們可以基於資料集得到比基於資料集l更好的**器。基於資料集,可以得到**器組合，將分兩種情況得到乙個整體的**器。
如果沒有資料集，可以通過bootstrap sample的方法來產生一組近似的資料集。
機器學習篇 bagging
bagging 隨機森林是ensemble整合演算法之一 1 模型 整合演算法，弱分類器或基模型一般為cart樹，可分類可回歸，判別模型 2 策略 bagging演算法對樣本重取樣，分別構造決策樹，並由各決策樹的分類結果進行投票或取平均 隨機森林 rf 與bagging的區別是除了樣本重取樣外還要特...
機器學習（五） Bagging與Boosting
bagging bagging breiman,1996 通過訓練許多基本分類器進行投票分類，每種基本分類器 如決策樹，神經網路 通過投票的方式降低偏差增加方差。假設我們的任務是使用訓練資料學習乙個模型 q 這些公式的含義？boosting boosting freund shapire,1996 ...
機器學習中的核技巧
真正接觸核方法應該是在 svm 正常情況下，感知機演算法和支援向量機都是預設資料是線性可分的，這類問題叫做線性分類問題。當資料線性不可分的時候，但高維可分 這個不理解可以多看看書 我們仍然想用線性分類的方法去解決，這個時候就需要用非線性變換將非線性問題轉換成線性問題。於是，我們得到求解非線性分類問題...