支援向量機是建立在統計學習理論基礎之上的新一代機器學習演算法，支援向量機的優勢主要體現在解決線性不可分問題，他通過引入和函式，巧妙地解決了在高維空間中的內積運算，從而很好的解決了非線性分類問題。
構造出乙個具有良好效能的svm，核函式的選擇是關鍵，核函式的選擇包括兩部分工作：一是核函式型別的選擇，二是確定核函式型別後相關引數的選擇。因此如何根據具體的資料選擇恰當的核函式是svm應用領域遇到的乙個重大難題，也成為科研工作者所關注的焦點，即便如此，卻依然沒有得到具體的理論或方法來指導核函式的選取。
1、經常使用的核函式
核函式的定義並不困難，根據泛函的有關理論，只要一種函式k(xi,yi)滿足mercer條件，他就對應某一變換空間的內積。對於判斷哪些函式是核函式到目前為止也取得了重要的突破，得到mercer定理和一下常用的核函式型別：
(1)線性核函式k(
x,xi
)=x⋅
xi(2)多項式核函式k(
x,xi
)=((
x⋅xi
)+1)
d(3)徑向基核（rbf）k(
x,xi
)=exp(−∥
x−xi
∥2σ2
) gauss徑向基函式則是區域性性強的核函式，其外推能力隨著引數σ的增大而減弱。多項式形式的核函式具有良好的全域性性質。區域性性較差。
(4)傅利葉核k(
x,xi
)=1−
q22(
1−2q
cos(x−
xi)+
q2)(5)樣條核k(
x,xi
)=b2
n+1(
x−xi
)(6)sigmoid核函式 k
(x,x
i)=tanh(κ
(x,x
i)−δ
) 採用sigmoid函式作為核函式時，支援向量機實現的就是一種多層感知器神經網路，應用svm方法，隱含層節點數目（他確定神經網路的結構）、隱含層節點對輸入節點的權值都是在設計（訓練）的過程中自動確定的。而且支援向量機的理論基礎決定了它最終求得的是全域性最優值而不是區域性最小值，也保證了他對於未知樣本的良好的泛化效能而不會出現過學習現象。
2、核函式的選擇
在選取核函式解決實際問題的時候，通常採用的方法有：一是利用專家的先驗知識預先選定核函式；二是採用cross-validation方法，即在進行核函式選取的時候，分別使用不同的核函式，歸納誤差最小的核函式就是最好的核函式，如針對傅利葉核、rbf核，結合訊號處理問題中的函式回歸問題，通過**實驗，對比分析了在相同資料條件下，採用傅利葉核的svm要比採用rbf核的svm誤差小很多。三是採用有smits等人提出的混合核函式方法，該方法較之前兩者是目前選取核函式的主流方法，也是關於如何構造核函式的又一開創性的工作，將不同的核函式結合起來後會有更好的特性，這是混合核函式方法的基本思想。
支援向量機的核函式
什麼是核函式？核函式是特徵轉換函式。這是非常抽象的描述，這一節的內容就是為了理解這個抽象的概念的。假設我們有乙個非線性分界線的分類問題，有兩個特徵 x1 x2 回顧邏輯回歸演算法裡的知識，我們可以使用多項式來增加特徵，以便描述出非線性分界線。當 0 1x 1 2 x2 3x1x 2 4 x21 5x...
支援向量機3 非線性支援向量機與核函式
本節敘述非線性支援向量機，其主要特點是利用核技巧 kernel trick 1 核技巧 非線性分類問題是指通過利用非線性模型才能很好地進行分類的問題。非線性問題往往不好求解，所以希望能用解線性問題的方法解決這個問題，所採取的方法是進行乙個非線性變換，將非線性問題變換為線性問題。通過解變換後的線性問題...
選擇支援向量機 SVM 核函式
svm核函式通常有四種 1.linear 2.polynomial 3.gaussian rbf 4.sigmoid logistic 不知為何，rbf最常用 ok，很顯然，兩種核函式都能讓我們接受，具有很強的說服力。這時候通常選擇簡單的那個，即線性核函式，因為不論是引數個數上還是複雜度上，還是對映...