前篇：【統計學習方法】支援向量機之線性支援向量機
核技巧應用到支援向量機，其基本想法就是：
如果對希爾伯特空間與核函式不太了解可以參考：
h
h為特徵空間(希爾伯特空間)中學習線性支援向量機，我們只需要知道特徵空間中的向量內積ϕ(x
)⋅ϕ(
z)
ϕ(x)·ϕ(z)
ϕ(x)⋅ϕ
(z)就可以了，即只要有核函式k(x
,z
)k(x,z)
k(x,z)
。用核函式k(x
,z)=
ϕ(x)
⋅ϕ(z
)k(x,z)=ϕ(x)·ϕ(z)
k(x,z)
=ϕ(x
)⋅ϕ(
z)來代替x⋅z
x·zx⋅
z就ok。
所以線性支援向量機的對偶問題的目標函式：minα
(12
∑i=1
n∑j=
1nαi
αjyi
yj(x
i∗xj
))−∑
i=1n
αi
=minα
(12
∑i=1
n∑j=
1nαi
αjyi
yjk(
xi,x
j))−
∑i=1
nα
i\min_α(\frac ∑_^n∑_^nα_i α_j y_i y_j (x_i *x_j))-∑_^nα_i =\min_α(\frac ∑_^n∑_^nα_i α_j y_i y_j k(x_i ,x_j))-∑_^nα_i
αmin
(21
i=1∑
nj=
1∑n
αiα
jyi
yj
(xi
∗xj
))−i
=1∑n
αi
=αmin(
21i
=1∑n
j=1
∑nα
iαj
yi
yjk
(xi
,xj
))−i
=1∑n
αi
分類決策函式式成為:f(x
)=si
gn(∑
i=1n
αi∗y
ik(x
i,x)
+b∗)
f(x)=sign(∑_^nα_i^* y_i k(x_i ,x)+b^*)
f(x)=s
ign(
i=1∑
nαi
∗yi
k(x
i,x
)+b∗
)這等價於經過對映函式ϕ
ϕϕ將原來的輸入空間變換到乙個新的特徵空間，將輸入空間中的內積x∗z
x*zx∗
z，變換為特徵空間中的內積k(x
,z)=
ϕ(x)
∗ϕ(z
)k(x,z)=ϕ(x)*ϕ(z)
k(x,z)
=ϕ(x
)∗ϕ(
z)，在新的特徵空間裡從訓練樣本中學習線性支援向量機.
當對映函式是非線性函式時，學習到的含有核函式的支援向量機是非線性分類模型.
也就是說，在核函式k(x
,z
)k(x,z)
k(x,z)
給定的條件下，可以利用解線性分類問題的方法求解非線性分類問題的支援向量機.
並且我們學習模型的過程中只需要核函式k(x
,z
)k(x,z)
k(x,z)
就可以了，不需要顯式地定義特徵空間和對映函式.這樣的技巧稱為核技巧，
那麼函式k(x
,z
)k(x,z)
k(x,z)
滿足什麼條件才能成為核函式呢？,具體的參考：
《統計學習方法》 7 支援向量機
第7章 svm 支援向量機 support vector machines,svm 的基本模型定義是在特徵空間上的間隔最大的線性分類器，它的學習策略就是間隔最大化。支援向量機的模型由簡到難分為 線性可分支援向量機 硬間隔最大化 線性支援向量機 軟間隔最大化 非線性支援向量機 核函式 7.1 線性可分...
統計學習方法 李航 SVM支援向量機
定義函式間隔，定義幾何間隔 目標，幾何間隔最大化？令函式間隔 1，將原問題轉為凸二次規劃問題 怎麼求解凸二次規劃呢？原問題不好求？所以，拉格朗日，得到對偶問題。求解了對偶問題，得到拉格朗日乘子，利用kkt，得到w,b 所以接下來的目標，求解對偶問題的最優化 怎麼求呢？smo 後來呢，遇到線性不可分的...
統計學習方法7 支援向量機
支援向量機 判別模型 種類 硬間隔 軟間隔 核函式 思想 感知機是線性分類器，對線性可分的資料集可以有無窮多個超平面將其分開。而支援向量機選擇其中分類最為靠譜的乙個，而這個靠譜的依據是 重要思想 1.在分類準確的前提下，2.使得離超平面最近的點離超平面的距離最遠，也就是說乙個點可能是很多個超平面的最...