目錄
1.寫在前面
2.軟間隔svm（soft-margin svm）
前面我們重點介紹了硬間隔svm，其中涉及到了拉格朗日乘子法，對偶，強對偶關係，原問題和對偶問題，並且利用kkt條件找到最佳超平面。這篇文章將重點介紹軟間隔svm（soft-margin svm）。
我們使用硬間隔svm的時候，認為資料是非常離散的，本身就是可分的。現實生活中資料有可能是不可分的，或者可分但是資料中存在大量的雜訊，如果這個時候使用硬間隔svm效果將會變得很差。所以我們可以引入軟間隔svm，思想就是允許一點點錯誤的存在。這個錯誤我們使用loss函式表達，下圖（1）中loss可以表示為犯錯誤點的個數，這個就是對該思想的乙個數學表示，但是我們前面知道，loss函式中後面那一堆是不連續的。我們可以令這一堆為z，z是不連續的，當z<1的時候，loss為1，其他情況下loss為0，這個函式是乙個跳躍函式，是不連續的，因此我們不採取這種情況。
（2）第二種情況我們用距離衡量loss（也叫hinge loss合頁損失），有點relu的感覺。我們同樣令上面那堆為z，可以得到：
最後我們的函式可以寫成：（這個式子就可以表示軟間隔svm模型），c是乙個超引數。
但是往往寫的時候，我們並不建議這麼書寫，我們會引入乙個變數 ξi,並且令紅框裡面也是我們軟間隔svm最常寫的乙個形式）
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...