二、提公升演算法（boosting）
監督學習主要包括分類和回歸任務，首先講一講回歸，再講一講分類中的提公升演算法。
用於確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。
給出了訓練樣本??,??(?=?,…,?) , 我們就可以從訓練樣本出發，建立乙個線性回歸方程，使得對訓練樣本資料而言，該線性回歸方程**的結果與樣本標註結果之間的差值和最小。
線性回歸模型：??=???+? (1≤?≤?)
一般而言，要使函式具有最小值，可對?(?,?) 引數?和?分別求導，令其導數值為零，再求取引數?和?的取值。
求導後可求出引數a和b的值，分別為 b=y
hat–
a∗xh
atb=y_ –a*x_
b=yhat
–a∗
xhat
，a=∑
i=1n
xiyi
−nxh
atyh
at∑i
=1nx
ixi−
nxha
t2a=\frac^n x_iy_i-nx_y_}^n x_ix_i-nx_^2}\quad
a=∑i=1
nxi
xi
−nxh
at2
∑i=1
nxi
yi
−nxh
aty
hat
強可學習 (strongly learnable)
學習模型能夠以較高精度對絕大多數樣本完成識別分類任務
弱可學習 (weakly learnable)
學習模型僅能完成若干部分樣本識別與分類，其精度略高於隨機猜測
強可學習和弱可學習是等價的，也就是說，如果已經發現了「弱學習演算法」，可將其提公升(boosting)為「強學習演算法」。ada boosting演算法就是這樣的方法。具體而言，ada boosting將一系列弱分類器組合起來，構成乙個強分類器。
核心問題：
如何將一系列弱分類器組合成強分類器：通過加權多數表決方法來提高分類誤差小的弱分類器的權重，讓其在最終分類中起到更大作用。同時減少分類誤差大的弱分類器的權重，讓其在最終分類中僅起到較小作用。
演算法描述：
給定包含?個標註資料的訓練集合γ， γ=。
ada boosting演算法將從這些標註資料出發，訓練得到一系列弱分類器，並將這些弱分類器線性組合得到乙個強分類器。
弱分類器組合成強分類器
以線性加權形式來組合弱分類器?(?): f(x
)=∑i
=1mα
mgm(
x)f(x)=\sum_^m\alpha_mg_m(x)
f(x)=∑
i=1m
αm
gm(
x)得到強分類器?(?): g(x
)=si
gn(f
(x))
=sig
n(∑i
=1mα
mgm(
x))g(x)=sign(f(x))=sign(\sum_^m\alpha_mg_m(x))
g(x)=s
ign(
f(x)
)=si
gn(∑
i=1m
αm
gm(
x))兩者均是學習輸入變數和輸出變數之間潛在關係模型，基於學習所得模型將輸入變數對映到輸出變數。?: ? → ?,?∈?,?∈?
機器學習筆記 監督學習 無監督學習分類筆記
無監督學習 給出一資料組，並已知曉這組資料的對應關係，然後給出一組新的資料，嘗試對其進行 和分析，這裡注意，提前給出的資料組 data set 是已知內部的資料的對應關係，後面給出的新的資料，是要依據對之前資料的學習後，給出新的資料對應的 值。而對於 的結果的不同，又將監督學習分為分類 classf...
有監督學習 無監督學習 分類 聚類 回歸等概念
這篇是很久之前寫的了.後來才開始上 andrew ng 老師的 mooc，發現其實老師講得很好了，建議有時間看看他的 machina learning 只看第一節課就可以很了解這些概念了。主要內容 有監督學習 無監督學習 分類 聚類 回歸等概念 這裡舉乙個給書本分類的例子。部分參考 什麼是無監督學習...
有監督學習 無監督學習 分類 聚類 回歸等概念
這篇是很久之前寫的了.後來才開始上 andrew ng 老師的 mooc，發現其實老師講得很好了，建議有時間看看他的 machina learning 只看第一節課就可以很了解這些概念了。主要內容 有監督學習 無監督學習 分類 聚類 回歸等概念 這裡舉乙個給書本分類的例子。部分參考 什麼是無監督學習...