adaboost實則是模型為加法模型、損失函式為指數函式、學習演算法為前向分步演算法時的二類學習方法。具體過程如下：
1.設訓練資料集t
2.初始化訓練資料的權值分步
3.使用具有權值分步為dm的訓練資料集學習，得到基本分類器
4.計算gm（x）在訓練資料集上的誤差率
5.計算gm（x）的係數
6.更新訓練資料集的權值分步
7.注意 這裡的zm是規範化因子 目的是使權值和為1
8.構建基本分類器的線性組合
9.得到最終的分類器
10.重複以上過程，最終可以得到乙個最優化的分類器 例如在做了三次m之後
這裡對adaboost演算法的優缺點做乙個總結。
adaboost的主要優點有：
1）adaboost作為分類器時，分類精度很高
2）在adaboost的框架下，可以使用各種回歸分類模型來構建弱學習器，非常靈活。
3）作為簡單的二元分類器時，構造簡單，結果可理解。
4）不容易發生過擬合
adaboost的主要缺點有：
1）對異常樣本敏感，異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的**準確性。
整合學習之Boosting
boosting是整合演算法之一，通過整合多個弱分類器，從而形成乙個強分類器。任一弱學習演算法可以通過加強提公升到乙個任意正確率的強學習演算法，並通過構造一種多項式級的演算法來實現這一加強過程，這就是最初的boosting演算法的原型。boosting是一種將弱分類器通過某種方式結合起來得到乙個分類...
整合學習Boosting思想之AdaBoost
對於 bagging 思想整合的隨機森林，是可以並行訓練的，正是因為每個弱分類器之間不相互影響 而 boosting 是通過序列訓練而獲得的，每個分類器要根據以前訓練出的分類器的效能來進行訓練。boosting 常用模型 adaboost gradient boosting gbt gbdt gbr...
4 提公升之梯度提公升樹（GBDT）
提公升方法採用加法模型與前向分步演算法，是以決策樹為基分類器。ps 這裡的決策樹指cart樹。主要思想 對於提公升樹演算法，簡單來說就是每一步會擬合前一步的殘差。ps 只有當損失函式是均方誤差的時候，每一步是擬合的殘差，對於其他損失函式卻不是。提公升樹模型 計算每個資料的殘差 通過殘差學習一顆回歸樹...