提公升(boosting)要解決的兩個問題：
(1)每一輪如何改變訓練資料的權值和概率分布
(2)弱分類器如何組合成乙個強分類起
adaboost的做法
(1)提高被前一輪弱分類器錯誤分類樣本的權值，而降低哪些被正確分類樣本的權值
(2)弱分類器的組合，採用加權多數表決的方法
4.adaboost演算法(略)p138
adaboost的兩個特點：
(1)不改變所給的訓練資料，而不斷改變訓練資料權值的分布，使得訓練資料在基本分類器的學習中起不同的作用
(2)利用基本分類器的線性組合構建最終的分類器
adaboost的訓練誤差分析p142
adaboost演算法的另一種解釋：模型為加法模型、損失函式為指數函式、學習演算法為前向分布演算法時的二分類學習方法
前向分布演算法p144
提公升樹是以分類樹或回歸樹為基本分類器的提公升方法 fm
(x)=
∑m=1
mt(x
;θm)fm
(x)=
∑m=1
mt(x
;θm)
提公升樹演算法 fm
(x)=
fm−1
(x)+
t(x;
θm)θ
^m=arg
minθm∑
i=1n
l(yi
,fm−
1(xi
)+t(
xi;θ
m)) fm(
x)=f
m−1(
x)+t
(x;θ
m)θ^
m=
arg
minθm∑
i=1n
l(yi
,fm−
1(xi
)+t(
xi;θ
m)
)提公升樹利用加法模型和前向分步演算法實現學習的優化過程，當損失函式是平方損失誤差時，每一步優化時很簡單的。但是對於一般的損失函式而言比較複雜。freidman提出了梯度提公升(gradient boosting)演算法，利用最速下降法的近似方法，關鍵是利用損失函式的負梯度在當前模型的值作為回歸問題提公升樹演算法的近似值你和回歸樹 −[
∂l(y
,f(x
i))∂
f(xi
)]f(
x)=f
m−1(x)−
[∂l(
y,f(
xi))
∂f(x
i)]f
(x)=
fm−1
(x
)梯度提公升演算法p151
統計學習方法8 提公升方法
先初始化所有輸入的輸出結果，假設為a。計算實際的結果與a差值，累加所有樣本的這個差值。得到損失函式。求出使該損失函式最小的a。在確定了a的基礎上，將所有樣本輸出值與a做差，得到殘差1，作為新的樹的樣本依據。初始化第二顆樹的輸出結果為b，以得到的殘差1為基礎，將b與殘差1做差並類和，得到這一次的損失函...
統計學習方法 提公升方法
在分類問題中，通過改變訓練樣本的權重，學習多個分類器，並將這些分類器線性組合，提高分類的效能 1.1 提公升方法adaboost演算法 1.1.1 提公升方法的基本思路 對於乙個複雜任務來說，將多個專家的判斷進行適當的綜合得出的判斷比任何乙個專家單獨的判斷好。三個臭皮匠頂個諸葛亮 強可學習 在概率近...
《統計學習方法》 提公升方法
提公升方法的核心思想是在給定基礎模型的基礎上，通過不斷調整樣本的權重分布訓練一系列的模型，盡最大可能的減少訓練誤差,最後將多個模型按照一定的權重係數進行組合得到最終的模型。通過採用多模型結合的方式，可以提公升模型的穩定性，使模型更準確。pac理論 概率近似正確理論 主要是論證了在概率學習框架下，乙個...