support vector machine
要解決的問題：什麼樣的決策邊界才是最好的呢？
支援向量機
特徵資料本身如果就很難分，怎麼辦呢？
計算複雜度怎麼樣？能實際應用嗎？
目標：基於上述問題對svm進行推導
support vector machine
決策邊界：選出來離雷區最遠的（雷區就是邊界上的點，要large margin）
支援向量機
距離的計算
支援向量機
資料標籤定義
資料集：(x1,y1)(x2,y2)… (xn,yn)
支援向量機
y為樣本的類別： 當x為正例時候 y = +1 當x為負例時候 y = -1
決策方程： （其中 是對資料做了變換，後面繼續說）
=> =>
優化的目標
通俗解釋：找到乙個條線（w和b），使得離該線最近的點（雷區）
能夠最遠
支援向量機
將點到直線的距離化簡得：
（由於 所以將絕對值展開原始依舊成立）
目標函式
放縮變換：對於決策方程（w,b）可以通過放縮使得其結果值|y|>= 1
=> （之前我們認為恆大於0，現在嚴格了些）
支援向量機
優化目標：
由於 ，只需要考慮 （目標函式搞定！）
目標函式
當前目標：????,?
1||?||
，約束條件：
支援向量機
常規套路：將求解極大值問題轉換成極小值問題=>????,?12
?2如何求解：應用拉格朗日乘子法求解
拉格朗日乘子法
帶約束的優化問題：
支援向量機
原式轉換：
我們的式子：
（約束條件不要忘： ）
svm求解
分別對w和b求偏導,分別得到兩個條件（由於對偶性質）
支援向量機
->
對w求偏導：
對b求偏導：
svm求解
帶入原始：
其中完成了第一步求解 ，
支援向量機
svm求解
繼續對ɑ求極大值：
條件：支援向量機
極大值轉換成求極小值：
條件：svm求解例項
資料：3個點，其中正例 x1(3,3) ，x2(4,3) ，負例x3(1,1)
支援向量機
求解：約束條件：
svm求解例項
原式： ，將資料代入
由於： 化簡可得：
支援向量機
svm求解例項
分別對ɑ1和ɑ2求偏導，偏導等於0可得：
（並不滿足約束條件 ，所以解應在邊界上）
帶入原式=-0.153 （不滿足約束）
帶入原式=-0.25 （滿足啦！）
最小值在(0.25,0,0.25)處取得
支援向量機
svm求解例項
將ɑ結果帶入求解
? =1
4∗ 1 ∗ 3,3 +14
∗ −1 ∗ 1,1 =12
,12? = ?? − ?=1
? ?? ?? (?? ??) = 1 −14
∗ 1 ∗ 18 +14
∗ −1 ∗ 6 = −2
支援向量機
平面方程為：0.5?1 + 0.5?2 − 2 = 0
svm求解例項
支援向量：真正發揮作用的資料點，ɑ值不為0的點
支援向量機
soft-margin
軟間隔：有時候資料中有一些噪音點，如果考慮它們咱們的線就不太好了
支援向量機
之前的方法要求要把兩類點完全分得開，這個
要求有點過於嚴格了，我們來放鬆一點！
為了解決該問題，引入鬆弛因子
soft-margin
新的目標函式：
支援向量機
當c趨近於很大時：意味著分類嚴格不能有錯誤
當c趨近於很小時：意味著可以有更大的錯誤容忍
c是我們需要指定的乙個引數！
soft-margin
拉格朗日乘子法：
約束： 同樣的解法：
支援向量機
低維不可分問題
核變換：既然低維的時候不可分，那我給它對映到高維呢？
支援向量機
低維不可分問題
目標：找到一種變換的方法，也就是 (?)
支援向量機
低維不可分問題
支援向量機
support vector machine
高斯核函式：
線性核函式 高斯和函式
支援向量機
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...