線性可區分
svm -> support vector machine
考慮如下分類問題：
可以看到，黑色和白色的點分別為兩類，那麼可以在平面找一條線，將兩種點分割在直線的兩端，如圖的藍色和紅色的直線就是例子。這兩個直線對資料集表現的都很好，不像綠色的線甚至無法分清訓練資料的類別。那麼對於新來的資料，我們可以根據其落在直線的那一側來**新資料的型別。然而對於不同的資料，藍線和紅線**結果顯然是不同的。那麼哪乙個更好一點呢，svm所考慮的就是這個問題。
如下圖：
對於svm來說，其思想認為下面的線要優於上面的線，用數學用於來表達的話就是下面的線距離其兩側最近的資料點較遠，這個時候我們可以理解為其給新資料**提供了更大的緩衝空間，也可以理解為，下面的線所遵循的方向，是兩個資料集差異比較大的方向，沿著這個方向去**更有可能**正確。
線性不可區分
考慮更加符合真實世界的情況如下圖：
對於左側的資料集，無法使用平面直線來進行區分，此時svm的巧妙思想是將其對映到高緯度的空間，在高維空間，直線變成平面，而只要我們使用適當的增維方法，就有可能將性質相似的資料點對映到空間中的集中區域。此時只要按照上面的相同的思路，找到空間中的平面，就可以進行分類問題的**。小結
機器學習總結6 支援向量機 SVM
1.july大神的支援向量機通俗導論 理解svm的三層境界 2.台灣大學 機器學習技法 第一講到第六講。台灣大學的 機器學習基石 和 機器學習技法 這兩門課真的值得用心去看看的。關於kkt條件，當對偶問題的解滿足kkt條件時，就可以說對偶問題的解和原始問題的解相同，同時都是最優解。問題來了，在對偶問...
機器學習 SVM演算法（二） 支援向量機的實現
前導 svm的推導 本篇blog將介紹svm的實現。更新斷斷續續，有空就填坑，沒空就先留坑。smo的引入 svm最後會轉化到乙個二次優化問題，這個東西可以使用牛頓法或梯度下降法之類的方法解決，但是當樣本數量較多的時候執行起來顯得較為低效。所以1998年有人提出了一種專門用於解決svm的演算法，叫做序...
機器學習（三） 支援向量機
支援向量機是一種判別模型，它構建乙個超平面使得距離這個超平面最近的點的距離最大。支援向量機的任務是在較低的模型泛化誤差下尋找乙個合適的超平面。如果超平面的函式是如下表示式 那麼超平面與資料點 label 1 之間的幾何關係為 定義 幾何間隔和函式間隔 因此，轉換為帶約束的優化問題 我們無法保證資料是...