svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。
svm (支援向量機) 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有更好的分類能力。公式表示如下：
公式的意思是假設每個訓練樣本點的幾何間隔至少是由於幾何間隔（沒帽子）和函式間隔（有帽子）的關係是：
最大化
這是乙個 qp 優化問題。
利用拉格朗日乘子法將約束條件融入到目標函式:
svm 的原始問題實際上是乙個極小極大問題：
這個表示式有幾個變數，先從哪乙個著手？答案是函式間隔必須不小於 1轉化到拉格朗日乘子
很容易可以看出，如果樣本點 xi 滿足約束條件，即有必有乙個為 0(vi) 所有的樣本點都滿足約束條件，極小極大問題就轉化為
倒數兩個條件是原始問題的條件，肯定成立。第乙個條件是上面討論過的條件:
原始問題滿足 kkt 條件，可以轉化成乙個最優解等價的對偶極大極小問題，先對極小部分求偏導：
得到對偶最優化問題：
對於乙個新來的樣本，將上面 w 的值帶入 f(x) = w^t·x + b， 可以知道要判斷新來的點，我們只需要計算它與訓練點的內積即可，這是 kernel trick 的關鍵：
軟間隔問題是應對 outliers 的一種方法。軟間隔問題可以建立目標函式：
與硬間隔的優化方法相似，得到的解是：
當然，你也可以將兩個樣本的內積看做最簡單的核函式。kernel method 不僅可以用在 svm 上，還可以用在 pca、線性分類器上等，以後再專門寫一篇 kernel method 的部落格。
SVM 簡要推導過程
svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有...
SVM 簡要推導過程
svm 是一塊很大的內容，網上有寫得非常精彩的部落格。這篇部落格目的不是詳細闡述每乙個理論和細節，而在於在不丟失重要推導步驟的條件下從巨集觀上把握 svm 的思路。svm 支援向量機 的主要思想是找到幾何間隔最大的超平面對資料進行正確劃分，與一般的線性分類器相比，這樣的超平面理論上對未知的新例項具有...
SVM推導簡述
1.函式間隔和幾何間隔 點距離分離平面的遠近可以代表分類 的確信度，在超平面w x b 0 確定的情況下，w x b 表示點x距離超平面的遠近，由於w,b 可以成比例改變，超平面不變，所以需要對分離平面法向量進行約束，因此定義函式間隔和幾何間隔分別為 i yi w x i b i y i w xi ...