2 懲罰因子/鬆弛因子c
3 核函式
4 使用svm
5 多分類
在logistics回歸中，我們的**輸出模型是：
我們希望我們的模型具有以下效能：
則測試集中某一樣本的代價函式是：
如果求總的代價函式，則應該在式子前面加乙個σ求和。
我們令z = θtx，則當y = 1時的代價函式影象為：
構建支援向量機，我們需要把代價函式做乙個改變，如下圖粉色折線，在z = 1 (-1) 處分段。
左側曲線記為cost1(z)，右側曲線記為cost0(z)。
帶有正則化項的logistics回歸的總體代價函式是：
上式可以看做如下形式：
則我們定義支援向量機的代價函式為：
可以看做如下形式
與logistics回歸不同，在svm中，我們以 θtx=1(或-1) 作為分類為正反例的閾值，而不以0為閾值，這個差值稱為安全距離或安全因子。
如果我們取較大的c值，例如100000，那麼我們在最小化代價函式時，就不得不令cost0(z)或cost1(z)等於0，這樣，問題就變成了帶約束條件的最優化問題：
使用支援向量機做分類時會有迭代出圖中的黑色直線來分類，這條黑色直線距離兩類樣本的最小距離都比較大，分類邊界距離樣本的距離稱為支援向量機的間距，這可以增強魯棒性，當常數c取值非常非常大時，svm就變成了最大間距分類器。
但是最大間距分類器對異常點（雜訊）很敏感，如果我們對以下資料集使用最大間距分類器進行分類，那麼我們會得到這條粉色的線而不是黑色的線。通過合理設定c的大小，可以得到理想的黑色直線。
所以c的作用與正則化項的λ有著類似的作用，通過調整c的大小，可以對線性不可分的樣本進行很好的分類，即
引入核函式的目的是高效的學習複雜非線性函式，將線性不可分問題轉換為線性可分的問題
如果始空間是有限維的，即屬性數有限，那麼一定存在乙個高維特徵空間使樣本可分我們以只含有兩個特徵的分類問題為例，人為的選定三個點l(1), l(2), l(3)。
對於乙個給定的例項x，我們定義三個特徵為：
相似度函式similarity(x, l(i))稱為核函式，這裡我們的相似度函式是高斯函式，所以我們的核函式由稱為高斯核。核函式還有其他的表示形式。
將高斯核函式展開（我們忽略了x0項，因為x0表示截距，令其恆等於1）：
從上式可以看出，如果x和l(1)很接近的話，f1的值會很接近於1，反之f1的值會很接近於0，繪製乙個含有兩個變數的高斯核函式的影象：
通過核函式，我們得到了3個新的特徵變數，f1, f2, f3，相當於把原先x的特徵對映到了f1, f2, f3所在的特徵空間。此例中x本身是二維向量，那麼這裡我們將其對映到了三維特徵空間，同理，我們也可以將x降維對映。
對於有m個樣本的訓練集，將每乙個樣本點設為標定點：
每乙個樣本點可以計算他和所有標定點的相似度，分別記為f1, f2,…, fm
因此，我們就有了特徵向量f，有時我們會加上常數截距f0：
對於乙個給定的訓練樣本（x(i), y(i)），我們將其對映到f所在的特徵空間，
將f0(i), f1
(i), …, fm
(i)合為乙個特徵向量f = [f0
(i), f1
(i), …, fm
(i)]t，則我們得到了用於描述訓練樣本的新特徵向量。
ps：有m+1個特徵是因為有m個訓 練樣本
則我們的代價函式就變成了了：
代價函式的優化求解步驟可以使用現成的函式庫直接實現，我們要做的是：
選擇引數c
選擇核函式（若使用高斯核，還需要選擇σ）
其他的核函式：線性核函式（又稱為無核），高斯核，多項式核，字串核函式，卡方核函式，直方相交核函式
若n相較於m很大，則使用logistics回歸或者svm，而不使用核函式
若n很小，m適中，則使用高斯卷積核的svm
若n很小，m很大，則增加特徵數量，然後使用logistics回歸或者svm，而不用核函式。
一種方法是使用one vs all法，即有k個類別要分，則使用k次svm，與logistics回歸中解決多分類的方法一樣。
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...