機器學習之SVM簡介

機器學習之svm簡介，在深度學習（2012）出現之前，svm是ml演算法中最優秀的演算法。

支援向量機，本質是個分類器。核技巧+間隔最大

當間隔最大的時候，他的泛化能力是最強的，魯棒性最高。

基於最大間隔分割資料。分割的超平面有無數個，找的是最大化的尋找乙個能把樣本分割開的超平面（分割超平面）max margin hyperplane 求解凸二次規劃的最優化演算法。支援向量：超平面上的那些點（樣本）

當樣本有多個屬性，並且屬性之間有影響的時候，svm比較適合

支援向量：和超平面平行的保持一定的函式距離的這兩個超平面對應的向量，我們定義為支援向量

支援向量機：尋找支援向量的演算法，並利用支援向量來尋找分界線的演算法

非線性支援向量機線性支援向量機演算法的主要過程就是要求解超平面，超平面具有如下性質：

把兩類資料分隔開距離兩個分類之間的距離最大

就是求解條件極值的方程，乙個帶有約束條件的最小極值方程。高數裡面可以用拉格朗日方法求解

這個方程也就是svm的基本型

訓練集的最大間隔超平面是存在且唯一的。

當樣本資料不是線性可分的時候，如何處理？

這裡引入核函式的概念

核函式當樣本不是線性可分的時候，需要用到核函式，核函式的目的是將所有的樣本轉換成可劃分的。通過對樣本資料的轉換，構造出一條直線劃分原來的樣本。

核函式將樣本資料變換到更高維度，使得他線性可分。在數學上已經證明了，經過有限次的核函式轉換，一定可以處理成線性可分的情況。核函式本質上就是乙個對映

最關鍵的就是找到合適的對映。如何找到？沒有系統的方法，需要考量資料格式，業務需要等，經驗積累。一般來說，徑向基函式/高斯核（rbf）效果大部分情況下還行。核函式也可以自己定義。如果需要具體操作，還需要另尋他法。

核函式是svm的精華，如何選擇合理的核函式，對於svm的效能有著至關重要的影響。

核函式的選擇對於效能的提公升有著極為重要的作用。

svm可以用於分類和回歸 svm的複雜度是由支援向量個數的多少決定的，不是由樣本個數的多少。尋來的結果完全依賴於支援向量而非所有樣本。 svm是前乙個階段ml的主流，但是由於核函式的選擇，一直是個未決問題。經常使用的多核學習本質上是借助了整合學習機制。libsvm

核函式的選擇

凸優化問題