Boosting演算法概念解析

根據所給演算法描述，好像只能同質整合。

adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器(弱分類器)，然後把這

adaboost

些弱分類器集合起來，構成乙個更強的最終分類器(強分類器)。

其演算法本身是通過改變資料分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權值。將修改過權值的新資料集送給下層

分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器

。使用adaboost分類器可以排除一些不必要的訓練資料特徵，並放在關鍵的訓練資料上面。

boosting族演算法中最著名的代表是adaboost

這就是adaboost的結構，最後的分類器ym是由數個弱分類器（weak classifier）組合而成的,相當於最後m個弱分類器來投票決定分類，而且每個弱分類器的「話語權」α不一樣。

這裡闡述下演算法的具體過程：

a).訓練弱分類器ym()，使其最小化權重

誤差函式（weighted error function）：

b)接下來計算該弱分類器的話語權α：

c)更新權重：

演算法：

看的雲裡霧裡的有木有，反正我是，但是我們又大牛給出了詳細的例子，我都看懂了。哈哈

下面我們舉乙個簡單的例子來看看adaboost的實現過程：

圖中，「+」和「-」分別表示兩種類別，在這個過程中，我們使用水平或者垂直的直線作為分類器，來進行分類。

第一步：

根據分類的正確率，得到乙個新的樣本分佈d

2?，乙個子分類器h

1其中劃圈的樣本表示被分錯的。在右邊的途中，比較大的「+」表示對該樣本做了加權。

第二步：

根據分類的正確率，得到乙個新的樣本分佈d3

，乙個子分類器h2

第三步：

得到乙個子分類器h

3整合所有子分類器：

因此可以得到整合的結果，從結果中看，即使簡單的分類器，組合起來也能獲得很好的分類效果，在例子中所有的。

adaboost演算法的某些特性是非常好的，在我們的報告中，主要介紹adaboost的兩個特性。一是訓練的錯誤率上界，隨著迭代次數的增加，會逐漸下降；二是adaboost演算法即使訓練次數很多，也不會出現過擬合的問題。

最後，我們可以總結下adaboost演算法的一些實際可以使用的場景：

1）用於二分類或多分類的應用場景

2）用於做分類任務的baseline

無腦化，簡單，不會overfitting，不用調分類器

3）用於特徵選擇（feature selection)

4）boosting框架用於對badcase的修正

只需要增加新的分類器，不需要變動原有分類器

由於adaboost演算法是一種實現簡單，應用也很簡單的演算法。adaboost演算法通過組合弱分類器而得到強分類器，同時具有分類錯誤率上界隨著訓練增加而穩定下降，不會過擬合等的性質，應該說是一種很適合於在各種分類場景下應用的演算法。