對於求解線性分類問題，線性支援向量機是一種非常有效的方法。而對於非線性分類問題，就需要借助核函式將非線性問題變換成線性問題，然後再進一步求解。所以，今天我們來認識一下什麼是核函式。
1. 非線性分類問題
非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。對於下面左圖，是用一條橢圓曲線（非線性模型）將正負樣例正確分類的。然而非線性問題往往不好求解，所以希望能用解線性分類的方法求解原來的非線性問題。如下面右圖所示，通過變換將左圖中橢圓曲線變換成直線，正確將樣例分類。
上面的例子說明，用線性分類方法求解非線性分類問題分為兩步：首先使用乙個變換將原區間的資料對映到新空間，然後在新空間裡用線性分類方法從訓練資料中學習分類模型。
所以，非線性分類的關鍵就在於如何進行這樣的對映。下面即將要介紹的核方法就可以完成這樣的對映。
2. 核函式的定義
設x是輸入空間（歐式空間），又設h為特徵空間（希爾伯特空間），如果存在乙個從x到h的對映φ(x):x→h,使得對所有x,z∈x,函式k(x,z)滿足條件k(x,z)=φ(x)
·φ(z). 則稱k(x,z)為核函式，φ(x)為對映函式，φ(x)·φ(z)為φ(x)和
φ(z)的內積。
核技巧的想法是，在學習與**中只定義核函式k(x,z)，而不顯示地定義對映函式φ。這是因為，通常計算核函式比較容易，而通過φ(x)·φ(z)計算k(x,z)比較困難。注意：對於給定的核函式k(x,z)，特徵空間h和對映函式的取法並不唯一，可以取不同的特徵空間，即便是在同一特徵區間也可以取不同的對映。
3. 核技巧在支援向量機中的應用
4. 常見的核函式
多項式核函式
對應的支援向量機是乙個p次多項式分類器。
高斯核函式
對應的支援向量機是高斯徑向基函式分類器。
支援向量機3 非線性支援向量機與核函式
本節敘述非線性支援向量機，其主要特點是利用核技巧 kernel trick 1 核技巧 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。非線性問題往往不好求解，所以希望能用解線性問題的方法解決這個問題，所採取的方法是進行乙個非線性變換，將非線性問題變換為線性問題。通過解變換後的線性問題...
非線性支援向量機
首先來看看核函式的概念 如果我們把svm看作是乙個飛彈，如果這個飛彈運載核彈的話那麼它就可以取得很大的威力，而核函式就類似於這樣可以取得很大的威力。我們在求解這優化問題的時候真的需要給定 為什麼高斯核函式好呢？因為它可以看作是將原始資料對映到了無窮維，舉個例子來說，比如我們要篩選豆子，它有飽滿和不飽...
SVM 支援向量機學習（6） 非線性SVM和核函式
對於線性可分問題和線性問題，都已經有很好的解決方案為了。對於非線性問題，產生了非線性svm，關鍵在於核技巧 kernel trick 的引用。如圖，對於正負樣本無法用直線分開。採用橢圓這樣的非線性模型才可正確分開。對於t，若可用r中的乙個超曲面正確分開，則稱該問題為非線性的可分問題。如圖的橢圓方程為...