二分類，我們之前使用的啟用函式是sigmoid
對於支援向量機來說我們使用的損失函式不同
最後那個1/2 theta^2是正則化項而已
那麼為什麼這個啟用函式能做到大間距分類器呢
當我們訓練到一定程度的時候，由於我們cost function 的特性
可以等於0
那麼也就是說只剩下
也就是說在訓練的後期(分類已經出來了的情況下)，我們通過減少最後那一項來得到大間距分類器
為什麼減少最後那一項就可以呢
由於常數不重要
我們可以把優化最後一項看做優化theta的範數
分界線其實是與向量(theta1， theta2 ，，，，，thetan)是正交的(這個你簡單的畫個圖就知道了)
對於小間距分類器來說，我們的樣本點向量 與tehta的內積會比較小
對於正向量來說在訓練了一段時間之後
xi 與theta 的內積必須大於1
其實也就是xi與theta 的單位方向向量向乘 × theta 的範數
在這種情況下，pi會很小，相對應的來說theta的範數就會很大
那麼對於乙個好的分類器
我們要求pi很大，也就是說thetai較小
那麼我們在擬合的很好的情況下去min theta的範數就能達到獲得大間距分類器的效果
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...