adaboost 演算法介紹
adaboost演算法本身是通過改變資料分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來修改每個樣本的權值。將修改過權值的新資料集送給下層分類器進行訓練，最後將每次得到的分類器最後融合起來，作為最後的決策分類器。
adaboost演算法
訓練資料集
初始化訓練資料的權值分布
＝1,2,…,m
使用具有權值分布
dm的訓練資料集學習，得到基本分類器：
計算gm(x)
在訓練資料集上的分類誤差率：
更新訓練資料集的權值分布：
m是規範化因子：
m(x)
的係數構建基本分類器的線性組合
說明：假設訓練資料集具有均勻的權值分布，即每個訓練樣本在基本分類器的學習中作用相同，
這一假設保證第
1步能夠在原始資料上學習基本分類器g1
(x)
adaboost
反覆學習基本分類器，在每一輪m＝
1,2,…,m
順次地執行下列操作： 1.
使用當前分布
dm加權的訓練資料集，學習基本分類器
gm(x)。2.
計算基本分類器gm
(x)在加權訓練資料集上的分類誤差率：
這裡，w
mi表示第
m輪中第
i個例項的權值.
這表明，gm
(x)在加權的訓練資料集上的分類誤差率是被g
m(x)
誤分類樣本的權值之和，
由此可以看出資料權值分布dm
與基本分類器gm
(x)的分類誤差率的關係
3. 計算基本分類器gm
(x)的係數am。
am表示gm
(x)在最終分類器中的重要性。 當
em≤1/2時，a
m≥0，並且am隨著
em的減小而增大，
所以分類誤差率越小的基本分類器在最終分類器中的作用越大。
4.更新訓練資料的權值分布為下一輪作準備
被基本分類器
gm(x)
誤分類樣本的權值得以擴大，而被正確分類樣本的權值卻得以縮小
誤分類樣本在下一輪學習中起更大的作用。
不改變所給的訓練資料，而不斷改變訓練資料權值的分布，使得訓練資料在基本分類器的學習中起不同的作用
線性組合
f(x)實現m
個基本分類器的加權表決。 ?
adaboost
的例子
弱分類器由
x或x>v
產生,
其閾值v
使該分類器在訓練資料集上分類誤差率最低
初始化資料權值分布
＝1在權值分布為d1
的訓練資料上，閾值v取
2.5時分類誤差率最低，故基本分類器為
(x)在訓練資料集上的誤差率e1
＝p(g1(x
i)≠yi)
＝0.3。
計算g1(x)
的係數：
更新訓練資料的權值分布：
分類器sign[f
1(x)]
在訓練資料集上有
3個誤分類點。 對於
m= 2
在權值分布為d2
的訓練資料上，閾值v是
8.5時分類誤差率最低，基本分類器為
(x)在訓練資料集上的誤差率e2
＝0.2143 計算
a2＝0.6496
更新訓練資料權值分布
分類器sign[f
2(x)]
在訓練資料集上有
3個誤分類點。 對於
m = 3
：在權值分布為d3
的訓練資料上，閾值v是
5.5時分類誤差率最低，基本分類器為
a3＝0.7514
更新訓練資料的權值分布d4
＝(0.125,0.125,0.125,0.102,0.102,0.102,0.065,0.065,0.065,0.125)
得到：
AdaBoost原理詳解
寫一點自己理解的adaboost，然後再貼上面試過程中被問到的相關問題。按照以下目錄展開。當然，也可以去我的部落格上看 面經adaboost是典型的boosting演算法，屬於boosting家族的一員。在說adaboost之前，先說說boosting提公升演算法。boosting演算法是將 弱學習...
AdaBoost演算法原理
每個haar特徵對應看乙個弱分類器，但並不是任伺乙個haar特徵都能較好的描述人臉灰度分布的某一特點，如何從大量的haar特徵中挑選出最優的haar特徵並製作成分類器用於人臉檢測，這是adaboost演算法訓練過程所要解決的關鍵問題。paul viola和michael jones於2001年將ad...
AdaBoost演算法梳理
在boosting family中，最具代表性的實現就是adaboost。adaboost是英文 adaptive boosting 自適應增強 的縮寫，它的自適應在於 前乙個基本分類器被錯誤分類的樣本的權值會增大，而正確分類的樣本的權值會減小，並再次用來訓練下乙個基本分類器。同時，在每一輪迭代中，...