本節敘述非線性支援向量機，其主要特點是利用核技巧（kernel trick）。
1、核技巧
非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。
非線性問題往往不好求解，所以希望能用解線性問題的方法解決這個問題，所採取的方法是進行乙個非線性變換，將非線性問題變換為線性問題。通過解變換後的線性問題的方法求解原來的非線性問題。
核函式的定義如下。
設χ是輸入空間（歐氏空間rn的子集或離散集合），又h為特徵空間（希爾伯特空間），如果存在乙個從χ到h的對映φ(x):χ->h,使得對所有x,z∈χ，函式k(x,z)滿足條件 k(x,z)= φ(x)*φ(z)，則稱k(x,z)為核函式，φ(x)為對映函式，φ(x)*φ(z)為φ(x)和φ(z)的內積。
核技巧的想法是，在學習與**中只定義核函式k(x,z)，而不是顯式地定義對映函式φ。通常，直接計算k(x,z)比較容易，而通過φ(x)和φ(z)計算k(x,z)並不容易。注意，φ是輸入空間rn到特徵空間h的對映，特徵空間h一般是高維的，甚至是無窮維的。可以看到，對於給定的核k(x,z)，特徵空間h和對映函式φ的取法並不唯一，可以取不同的特徵空間，即便是在同一特徵空間裡也可以取不同的對映。
在對偶問題的目標函式中的內積xi*xj可以用核函式k(xi,xj)=φ(xi)*φ(xj)來代替，此時對偶問題的目標函式成為
同樣，分類決策函式中的內積也可以用核函式代替，而分類決策函式式成為
這就等價於經過對映函式φ將原來的輸入空間變換到乙個新的特徵空間，在新的特徵空間裡從訓練樣本中學習線性支援向量機。當對映函式是非線性函式時，學習到的含有核函式的支援向量機就是非線性分類模型。
也就是說在核函式k(x,z)給定的條件下，可以利用解線性分類問題的方法求解非線性分類問題的支援向量機，學習是隱式地在特徵空間進行的，不需要顯式地定義特徵空間和對映函式。這樣的技巧成為核技巧。
2、正定核
已知對映函式φ，可以通過φ(x)和φ(z)的內積求得核函式k(x,z)。不用構造對映φ(x)能否直接判斷乙個給定的函式k(x,z)是不是核函式？或者說，函式k(x,z)滿足什麼條件才能成為核函式？（通常所說的核函式就是正定核函式）
3、常用核函式
我們希望樣本在特徵空間內線性可分，因此特徵空間的好壞對支援向量機的效能至關重要。需要注意的是，在不知道特徵對映的形式時，我們並不知道什麼樣的核函式是合適的，而核函式也僅是隱式地定義了這個特徵空間。於是，「核函式選擇」成為了支援向量機最大的變數。若核函式選擇不合適，則意味著將樣本對映到了乙個不合適的特徵空間，很可能導致效能不佳。
4、非線性支援向量機
參考：《統計學習方法》李航
非線性支援向量機
首先來看看核函式的概念 如果我們把svm看作是乙個飛彈，如果這個飛彈運載核彈的話那麼它就可以取得很大的威力，而核函式就類似於這樣可以取得很大的威力。我們在求解這優化問題的時候真的需要給定 為什麼高斯核函式好呢？因為它可以看作是將原始資料對映到了無窮維，舉個例子來說，比如我們要篩選豆子，它有飽滿和不飽...
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
非線性支援向量機與核函式
對於求解線性分類問題，線性支援向量機是一種非常有效的方法。而對於非線性分類問題，就需要借助核函式將非線性問題變換成線性問題，然後再進一步求解。所以，今天我們來認識一下什麼是核函式。1.非線性分類問題 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。對於下面左圖，是用一條橢圓曲線 非線性...