參考:
svm入門(七)為何需要核函式
svm常用核函式
機器學習—核函式
所謂徑向基函式 (radial basis function 簡稱 rbf), 就是某種沿徑向對稱的標量函式。可記作 k(||x-xc||)。
最常用的徑向基函式是高斯核函式 ,形式為 k(||x-xc||)=exp 其中xc為核函式中心,σ為函式的寬度引數 , 控制了函式的徑向作用範圍。由於這個函式類似於高斯分布,因此稱為高斯核函式,也叫做徑向基函式(radial basis function 簡稱rbf)。它能夠把原始特徵對映到無窮維。
核函式的基本作用:在低維中計算高維資料的點積。
將低維資料對映到高維,希望在這個更高維的空間中,資料可以變得更容易分離或更好的結構化。核函式提供了乙個從線性到非線性的連線以及任何可以只表示兩個向量之間的點積的演算法。
k( w, x )=< φ(w), φ(x) >
核函式的性質
1.連續;2.對稱;3.最優選應該具有半正定gram矩陣,以確保優化問題將是凸的和解決方案將是唯一的。
mercer 定理 :任何半正定的函式都可以作為核函式。所謂半正定的函式f(xi,xj),是指擁有訓練資料集合(x1,x2,…xn),我們定義乙個矩陣的元素aij = f(xi,xj),這個矩陣式n*n的,如果這個矩陣是半正定的,那麼f(xi,xj)就稱為半正定的函式。這個mercer定理不是核函式必要條件,只是乙個充分條件,即還有不滿足mercer定理的函式也可以是核函式。
任何半正定的函式都可以作為核函式,即k(x,z)對應的gram矩陣是半正定矩陣。
gram矩陣:矩陣對應點的內積。ktk, kkt
半正定矩陣:設a是實對稱矩陣,如果對任意的實非零列矩陣x有xtax≥0,就稱a為半正定矩陣,半正定矩陣特徵值非負。
當檢驗乙個k是否為正定核函式,要對任意有限輸入集驗證k對應的gram矩陣實是否為半正定矩陣。
常用核函式
徑向基函式(RBF)
radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...
RBF徑向基函式
徑向基函式是某種沿徑向對稱的標量函式,通常定義為樣本到資料中心之間徑向距離 通常是歐氏距離 的單調函式 由於距離是徑向同性的 rbf核是一種常用的核函式。它是支援向量機分類中最為常用的核函式。常用的高斯徑向基函式形如 其中,因為rbf核函式的值隨距離減小,並介於0 極限 和1 當x x 的時候 之間...
徑向基函式 RBF
radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...