2023年，schapire就首先構造出一種多項式級的演算法，將弱學習演算法提公升為強學習演算法，就是最初的boosting演算法。boosting意思為提公升、加強，現在一般指將弱學習提公升為強學習的一類演算法。
級聯分類器就是將多個強分類器連線在一起進行操作,每乙個強分類器都由若干個弱分類器加權組成。 adaboost(adaptive boosting)就是一種級聯分類器。
一般情況下乙個級聯用的強分類器包含20個左右的弱分類器，然後在將10個強分類器級聯起來，就構成了乙個級聯強分類器，這個級聯強分類器中總共包括200弱分類器。也有一些情況下不適用級聯分類器，就簡單的使用乙個強分類器的情況，這種情況下一般強分類器都包含200個左右的弱分類器可以達到最佳效果。不過級聯分類器的效果和單獨的乙個強分類器差不多，但是速度上卻有很大的提公升。
其次，adaboost是一種迭代演算法。初始時，所有訓練樣本的權重都被設為相等，在此樣本分佈下訓練出乙個弱分類器。在第（ =1,2,3, …t，t為迭代次數）次迭代中，樣本的權重由第 -1次迭代的結果而定。在每次迭代的最後，都有乙個調整權重的過程，被分類錯誤的樣本將得到更高的權重。這樣分錯的樣本就被突出出來，得到乙個新的樣本分佈。在新的樣本分佈下，再次對弱分類器進行訓練，得到新的弱分類器。經過t次迴圈，得到t個弱分類器，把這t個弱分類器按照一定的權重疊加起來，就得到最終的強分類器。
Boosting演算法總結
adaboosting 通過前向分步法，優化損失函式，為指數損失函式，然後梯度上公升樹。可以 任意分類器作為弱分類器。優化步長，與迭代次數。gbdt 回歸問題 1 擬合殘差 2 cart樹 3 擬合負梯度 分類問題 1 改變擬合loss，比如 邏輯回歸，對數損失，adaboost 指數損失。2 訓練...
boosting和bagging演算法學習
bagging方法 boosting方法 boosting和bagging都是整合學習 ensemble learning 領域的基本演算法 2 整合學習是指將若干弱分類器組合之後產生乙個強分類器。弱分類器 weak learner 指那些分類準確率只稍好於隨機猜測的分類器 error rate 5...
Boosting演算法學習
1 提公升演算法 boosting 是常用的有效的統計學習演算法，屬於迭代演算法，它通過不斷地使用乙個弱學習器彌補前乙個弱學習器的 不足 的過程，來序列地構造乙個較強的學習器，這個強學習器能夠使目標函式值足夠小。2 bagging也是一種常用的統計學習方法，兩者經常放在一起對比，它們不同的是，bag...