全部筆記的彙總貼：統計學習方法讀書筆記彙總貼
支援向量機（support vector machines, svm）是 一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機；支援向量機還包括核技巧，這使它成為實質上的非線性分類器。
本文的大體內容可以參考白板推導系列筆記（六）-支援向量機和白板推導系列筆記（七）-核方法
支援向量機就是找到最大的間隔分離超平面。
構造乙個約束最優化問題並求解
\underset\fracw^w \\ s.t.\; y_(w^x_+b)\geq 1,i=1,2,\cdots ,n \end\right.^t\cdot x+b^*=0
w∗t⋅x+
b∗=0
以及分類決策函式f(x
)=si
gn(w
∗t⋅x
+b∗)
f(x)=sign(^t\cdot x+b^*)
f(x)=s
ign(
w∗t⋅
x+b∗
)線性可分訓練資料集的最大間隔分離超平面是存在且唯一的。
求解可以用對偶法，找尋kkt條件。
很多時候的資料都有一些特異點，除掉這些點以後的資料才是線性可分的，意味著就找不到一條這樣的超平面將資料分離成兩部分，所以我們需要引進乙個鬆弛量ξi≥
0\xi_i\ge0
ξi≥
0，這樣約束條件就變為yi(
wt⋅x
i+b)
≥1−ξ
iy_i(w^t\cdot x_i+b)\ge1-\xi_i
yi(wt
⋅xi
+b)≥
1−ξi
所以12w
tw\frac12w^tw
21wtw
變成1 2w
tw+c
∑i=1
nξi\frac12w^tw+c\sum_^n \xi_i
21wtw
+ci=
1∑n
ξi這裡c
>
0c>0
c>
0為懲罰引數。
將低維問題轉化到更高維來進行分割。
常用的核函式有：
線性核函式
多項式核函式
高斯核函式
拉普拉斯核函式
sigmoid核函式
下一章傳送門：統計學習方法讀書筆記（八）-提公升方法
《統計學習方法》 7 支援向量機
第7章 svm 支援向量機 support vector machines,svm 的基本模型定義是在特徵空間上的間隔最大的線性分類器，它的學習策略就是間隔最大化。支援向量機的模型由簡到難分為 線性可分支援向量機 硬間隔最大化 線性支援向量機 軟間隔最大化 非線性支援向量機 核函式 7.1 線性可分...
統計學習方法7 支援向量機
支援向量機 判別模型 種類 硬間隔 軟間隔 核函式 思想 感知機是線性分類器，對線性可分的資料集可以有無窮多個超平面將其分開。而支援向量機選擇其中分類最為靠譜的乙個，而這個靠譜的依據是 重要思想 1.在分類準確的前提下，2.使得離超平面最近的點離超平面的距離最遠，也就是說乙個點可能是很多個超平面的最...
統計學習方法（六）支援向量機
svm是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器。支援向量機還包括核技巧，這使它成為實質上的非線性分類器。支援向量機學習方法包含構建由簡至繁的模型 線性可分支援向量機 線性支援向量機 非線性支援向量機。支援向量是訓練資料集的樣本點中與分離超平面距離最近的樣本點的例項。決...