SVM核函式選擇

2021-10-23 10:23:04 字數 901 閱讀 4816

svm支援向量機,一般用於二分類模型,支援線性可分和非線性劃分。svm中用到的核函式有線性核』linear』、多項式核函式pkf以及高斯核函式rbf。

當訓練資料線性可分時,一般用線性核函式,直接實現可分;

當訓練資料不可分時,需要使用核技巧,將訓練資料對映到另乙個高維空間,使再高維空間中,資料可線性劃分,

但需要注意的是,若樣本n和特徵m很大時,且特徵m>>n時,需要用線性核函式,因為此時考慮高斯核函式的對映後空間維數更高,更複雜,也容易過擬合,此時使用高斯核函式的弊大於利,選擇使用線性核會更好;

樣本n一般大小,特徵m較小,此時進行高斯核函式對映後,不僅能夠實現將原訓練資料再高維空間中實現線性劃分,而且計算方面不會有很大的消耗,因此利大於弊,適合用高斯核函式;

樣本n很大,但特徵m較小,同樣難以避免計算複雜的問題,因此會更多考慮線性核。

在吳恩達的課上,也曾經給出過一系列的選擇核函式的方法:

如果特徵的數量大到和樣本數量差不多,則選用lr或者線性核的svm;

如果特徵的數量小,樣本的數量正常,則選用svm+高斯核函式;

如果特徵的數量小,而樣本的數量很大,則需要手工新增一些特徵從而變成第一種情況。

svm分為:

線性可分支援向量機。當訓練資料線性可分時,通過硬間隔最大化,學習到的乙個線性分類器。

線性支援向量機。當訓練資料近似線性可分時,通過軟間隔最大化,學習到的乙個線性分類器。

非線性支援向量機。當訓練資料線性不可分,通過使用核技巧及軟間隔最大化,學習非線性支援向量機。

SVM 核函式的選擇

1 經常使用的核函式 核函式的定義並不困難,根據泛函的有關理論,只要一種函式k xi,x j 滿足mercer條件,它就對應某一變換空間的內積 對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到mercer定理和以下常用的核函式型別 1 線性核函式k x,x i x xi 2 多項式核k x...

關於SVM核函式的選擇

今天去面試的時候,面試官問了我乙個問題 svm的核函式如何選擇?我說試試吧,答案可能也對,但這樣會浪費時間。上網搜尋了一下,andrew的說法是 1.當樣本的特徵很多時,特徵的維數很高,這是往往樣本線性可分,可考慮用線性核函式的svm或lr 如果不考慮核函式,lr和svm都是線性分類演算法,也就是說...

選擇支援向量機 SVM 核函式

svm核函式通常有四種 1.linear 2.polynomial 3.gaussian rbf 4.sigmoid logistic 不知為何,rbf最常用 ok,很顯然,兩種核函式都能讓我們接受,具有很強的說服力。這時候通常選擇簡單的那個,即線性核函式,因為不論是引數個數上還是複雜度上,還是對映...