支援向量和間隔邊界
如上圖所示，
舉例來說
如上圖所示，其中x1，x2為正例，x3為反例，則svm希望有如下約束
支援向量機模型中，我們的學習目標
至此，我們已經推導完畢，得到最優的w,b。從上式上我們可以看出，分類決策函式只依賴於輸入x和訓練樣本輸入的內積（這一內積又與後面的核函式有著千絲萬縷的聯絡，到這裡讀者是否感受到svm理論上的優美呢，哈哈哈）
如果你看明白上面的推導了，那麼問題來了，對偶形式的解與原始解相等需要什麼前提條件呢？
凸函式 && kkt
目標函式的第一項是經驗損失或經驗風險，第二項是正則項（再一次驚嘆magic）
在李航老師的書中有證明，感興趣的讀者可以去看一看。
（1）多項式核函式
（2）高斯核函式
支援向量機svm，在處理線性問題時，速度和精度都還可以。但是在處理非線性問題時，在大量高緯度資料中會顯得異常的慢（及時使用序列最小最優化演算法smo這種啟發式演算法）。
參考文獻
1.李航.統計學習方法
SVM 支援向量機 原理
1.svm support vector machine 支援向量機 是一種有監督的分類演算法 有監督的分類模型 就是事先對資料打上標籤,這樣機器就知道資料是哪個分類.無監督是事先沒有打標籤,比如資料聚類,然後對每個類精心分析.svm通常是幫我們模式識別,分類以及回歸分析.2.svm計算的過程就是找...
支援向量機SVM原理（一）
1 簡介 支援向量機基本上是最好的有監督學習演算法了。最開始接觸svm是去年暑假的時候，老師要求交 統計學習理論 的報告，那時去網上下了乙份入門教程，裡面講的很通俗，當時只是大致了解了一些相關概念。這次斯坦福提供的學習材料，讓我重新學習了一些svm知識。我看很多正統的 都是從vc 維理論和結構風險最...
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...