機器學習 分類器組合 AdaBoost

adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成乙個更強的最終分類器(強分類器)。

adaboost其實只是boost的乙個特例。

1. 要訓練出多個弱分類器（圖中為3個），每個弱分類器由不同權重的樣本（圖中為5個訓練樣本）訓練得到（其中第乙個弱分類器對應輸入樣本的權值是一樣的），而每個弱分類器對最終分類結果的作用也不同，是通過加權平均輸出的，訓練過程如下.

2. 設每個樣本訓練維度為

2（決策樹只有

2個選擇屬性），決策樹選擇其中乙個屬性。然後計算這個屬性中的最佳值用來分類。

1.訓練第乙個分類器（弱分類器為單層決策樹），樣本的權值d為相同的權值，通過乙個弱分類器得到這5個樣本的分類**標籤、與給定的真實值對比，有

誤差ε=

未正確分類分類數

/總樣本數

如果某個樣本**錯誤，則它對應的錯誤值為該樣本的權重，如果分類正確，則錯誤值為0. 最後累加5個樣本的錯誤率之和，記為ε。

2. 通過ε來計算該弱分類器的權重α，公式如下：

如果樣本分類錯誤，則增加該樣本的權重，公式為：

4. 迴圈步驟1,2,3來繼續訓練多個分類器，只是其d值不同而已。

輸入乙個樣本到訓練好的每個弱分類中，則每個弱分類都對應乙個輸出標籤，然後該標籤乘以對應的α，最後求和得到值的符號即為**標籤值。

優點：1.低泛化誤差，泛化錯誤率低，易編碼，可以應用在大部分分類器上；

2.容易實現，分類準確率較高，無引數調整；

缺點：對離群點outlier較敏感；

機器學習 分類器組合 AdaBoost

adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器 弱分類器 然後把這些弱分類器集合起來，構成乙個更強的最終分類器 強分類器 adaboost其實只是boost的乙個特例。1.要訓練出多個弱分類器 圖中為3個 每個弱分類器由不同權重的樣本 圖中為5個訓練樣本 訓練得到 其...

組合分類器

裝袋 提公升和隨機森林都是組合分類方法的例子。組合分類把k個學習得到的模型 或基分類器 m1 m2,mk組合在一起，旨在建立乙個改進的復合分類模型m 裝袋 bagging 有放回的抽樣，訓練k個模型，然後對分類樣本進行投票表決。提公升 boosting 在提公升方法中，權重賦予每個訓練元組。迭代地學...

機器學習 樸素貝葉斯分類器

假設現在要構建乙個網路圖書館，我們可以給新進來的書貼上若干個標籤，沒有機器學習演算法的情況下，我們需要給這些書手動分類，是計算機類的呀，還是非計算機類的呀，是 類的呀，還是非 類的云云。那麼，我們可以通過讓程式自己學習如何通過一本書上的若干標籤來進行圖書類別的區分，這樣就可以節省很多人力，這也是機器...