先初始化所有輸入的輸出結果，假設為a。
計算實際的結果與a差值，累加所有樣本的這個差值。得到損失函式。求出使該損失函式最小的a。
在確定了a的基礎上，將所有樣本輸出值與a做差，得到殘差1，作為新的樹的樣本依據。
初始化第二顆樹的輸出結果為b，以得到的殘差1為基礎，將b與殘差1做差並類和，得到這一次的損失函式，然後求出使損失函式最小的輸出結果b。
不斷重複類似的流程直到滿足要求。
最終的模型應該是a+b+…
參考：
筆記 《統計學習方法》 8 提公升方法
提公升 boosting 要解決的兩個問題 1 每一輪如何改變訓練資料的權值和概率分布 2 弱分類器如何組合成乙個強分類起 adaboost的做法 1 提高被前一輪弱分類器錯誤分類樣本的權值，而降低哪些被正確分類樣本的權值 2 弱分類器的組合，採用加權多數表決的方法 4.adaboost演算法 略 ...
統計學習方法 提公升方法
在分類問題中，通過改變訓練樣本的權重，學習多個分類器，並將這些分類器線性組合，提高分類的效能 1.1 提公升方法adaboost演算法 1.1.1 提公升方法的基本思路 對於乙個複雜任務來說，將多個專家的判斷進行適當的綜合得出的判斷比任何乙個專家單獨的判斷好。三個臭皮匠頂個諸葛亮 強可學習 在概率近...
《統計學習方法》 提公升方法
提公升方法的核心思想是在給定基礎模型的基礎上，通過不斷調整樣本的權重分布訓練一系列的模型，盡最大可能的減少訓練誤差,最後將多個模型按照一定的權重係數進行組合得到最終的模型。通過採用多模型結合的方式，可以提公升模型的穩定性，使模型更準確。pac理論 概率近似正確理論 主要是論證了在概率學習框架下，乙個...