Bagging演算法細講

bagging演算法：讓該學習演算法訓練多輪，每輪的訓練集由從初始的訓練集中隨機取出的n個訓練樣本組成，某個初始訓練樣本在某輪訓練集中可以出現多次或根本不出現，訓練之後可得到乙個**函式序列h_1，⋯ ⋯h_n ，最終的**函式h對分類問題採用投票方式，對回歸問題採用簡單平均方法對新示例進行判別。

思想：1).從原始樣本集中用bootstrap取樣選出n個樣本(新)

2).對這n個樣本建立分類器

3).重複1-2步，建立m個分類器

4).將bootstrap取樣選出n個樣本(m個新的樣本資料集)，在m個分類器上進行分類

5).把m個分類器分類的結果進行投票，得到最多的為最終的類別。

注意：bootstrap取樣名字來自成語「pull up by your own bootstraps」，意思是依靠你自己的資源，稱為自助法，它是一種有放回的抽樣方法，它是非引數統計中一種重要的估計統計量方差進而進行區間估計的統計方法。其核心思想和基本步驟如下：

1）採用重抽樣技術從原始樣本中抽取一定數量（自己給定）的樣本，此過程允許重複抽樣。

2）根據抽出的樣本計算給定的統計量t。

3）重複上述n次（一般大於1000），得到n個統計量t。

4）計算上述n個統計量t的樣本方差，得到統計量的方差。