有位前輩總結得很清晰有條理，借鑑一下：
簡單把裡面我自己要備忘的要點概括一下：
1）基本原理：boosting演算法的工作機制是首先從訓練集用初始權重訓練出乙個弱學習器1，根據弱學習的學習誤差率表現來更新訓練樣本的權重，使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高，使得這些誤差率高的點在後面的弱學習器2中得到更多的重視。然後基於調整權重後的訓練集來訓練弱學習器2.，如此重複進行，直到弱學習器數達到事先指定的數目t，最終將這t個弱學習器通過集合策略進行整合，得到最終的強學習器。
2）演算法要點大綱：
1）如何計算學習誤差率e?
2) 如何得到弱學習器權重係數α?
3）如何更新樣本權重d?
4) 使用何種結合策略？
只要是boosting大家族的演算法，都要解決這4個問題。
3）演算法流程：
這裡我們對adaboost二元分類問題演算法流程做乙個總結。
輸入為樣本集t=，輸出為，弱分類器演算法, 弱分類器迭代次數k。
輸出為最終的強分類器f(x)
1) 初始化樣本集權重為
2) 對於k=1,2，…k:
a) 使用具有權重dk的樣本集來訓練資料，得到弱分類器gk(x)
b)計算gk(x)的分類誤差率
c) 計算弱分類器的係數
d) 更新樣本集的權重分布
3) 構建最終分類器。
4）演算法總結：
理論上任何學習器都可以用於adaboost.但一般來說，使用最廣泛的adaboost弱學習器是決策樹和神經網路。對於決策樹，adaboost分類用了cart分類樹，而adaboost回歸用了cart回歸樹。
這裡對adaboost演算法的優缺點做乙個總結。
adaboost的主要優點有：
1）adaboost作為分類器時，分類精度很高
2）在adaboost的框架下，可以使用各種回歸分類模型來構建弱學習器，非常靈活。
3）作為簡單的二元分類器時，構造簡單，結果可理解。
4）不容易發生過擬合
adaboost的主要缺點有：
1）對異常樣本敏感，異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的**準確性。
整合學習原理 Adaboost
整合學習通過從大量的特徵中挑出最優的特徵，並將其轉化為對應的弱分類器進行分類使用，從而達到對目標進行分類的目的。它是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器 弱分類器 然後把這些若分類器集合起來，構成乙個更強的最終分類器 強分類器 其演算法本身是通過改變資料分布來實現的，它根據每...
AdaBoost演算法原理
每個haar特徵對應看乙個弱分類器，但並不是任伺乙個haar特徵都能較好的描述人臉灰度分布的某一特點，如何從大量的haar特徵中挑選出最優的haar特徵並製作成分類器用於人臉檢測，這是adaboost演算法訓練過程所要解決的關鍵問題。paul viola和michael jones於2001年將ad...
AdaBoost演算法原理
演算法原理 adaboost 演算法針對不同的訓練集訓練同乙個基本分類器 弱分類器 然後把這些在不同訓練集上得到的分類器集合起來，構成乙個更強的最終的分類器 強分類器 理論證明，只要每個弱分類器分類能力比隨機猜測要好，當其個數趨向於無窮個數時，強分類器的錯誤率將趨向於零。adaboost 演算法中不...