對於線性可分問題，我們使用感知機、邏輯回歸、支援向量機等等演算法都可以解決文圖，但是對於非線性問題，我們就需要對演算法做一些改進，比如使用核技巧的方法。
非線性支援向量機就利用核技巧來解決線性不可分問題。同時核技巧還應用於其他統計學習問題。
先來介紹一下非線性分類問題，前面講的線性可分問題，是說，我們可以找到乙個超平面或者直線將樣本全部正確分類，那對於非線性問題，其實這時候用直線或超平面已經行不通，只能用橢圓，圓，多邊形等等或者超曲面來將樣本劃分。
上面第一張圖就是非線性分類問題的乙個典型代表，如圖樣本在圖形中分為兩類，一類藍的小圓圈、一類紅的小叉叉，對於空中分布的這兩類樣本我們使用直線顯然是無法將它們正確劃分的，上圖用的是橢圓將這兩類樣本劃分。
那麼第二個圖是什麼意思呢？
其實線性分類器往往很不好求解，就是說我們很難求得乙個非線性數學模型，這個數學模型的表示式往往我們很難猜到，無從下手。所以為了能解決非線性問題，所採用的方法是進行乙個非線性變換，將非線性問題變換為線性問題，通過解變換後的線性問題來求解原來的非線性問題，上述第二個圖就是這個意思，上圖做了乙個非線性變換，將樣本做了乙個對映，對映到新的座標系之變成了線性可分問題。
核技巧在支援向量機中的想法就是，通過乙個非線性變換將輸入空間對應於乙個特徵空間，使得輸入空間的劃分樣本的超曲面模型對應特徵空間中的超平面模型，這樣我們只需要求解變換後的先行問題。
支援向量機的核函式
什麼是核函式？核函式是特徵轉換函式。這是非常抽象的描述，這一節的內容就是為了理解這個抽象的概念的。假設我們有乙個非線性分界線的分類問題，有兩個特徵 x1 x2 回顧邏輯回歸演算法裡的知識，我們可以使用多項式來增加特徵，以便描述出非線性分界線。當 0 1x 1 2 x2 3x1x 2 4 x21 5x...
支援向量機的核函式
支援向量機是建立在統計學習理論基礎之上的新一代機器學習演算法，支援向量機的優勢主要體現在解決線性不可分問題，他通過引入和函式，巧妙地解決了在高維空間中的內積運算，從而很好的解決了非線性分類問題。構造出乙個具有良好效能的svm，核函式的選擇是關鍵，核函式的選擇包括兩部分工作 一是核函式型別的選擇，二是...
支援向量機3 非線性支援向量機與核函式
本節敘述非線性支援向量機，其主要特點是利用核技巧 kernel trick 1 核技巧 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。非線性問題往往不好求解，所以希望能用解線性問題的方法解決這個問題，所採取的方法是進行乙個非線性變換，將非線性問題變換為線性問題。通過解變換後的線性問題...