通俗易懂的解釋svm核函式。
編譯：mcgl
簡而言之，核心(kernel)是一種捷徑，可以幫助我們更快地進行某些計算，否則就會涉及到更高維空間的計算。這聽起來相當抽象。在這篇博文中，我將向你們展示乙個只需要基本算術的簡單例子。
乙個簡單的例子:
有乙個三維向量 x = (x1，x2，x3)。我們將操作 f (x)定義為: f (x) = (x1x1，x1x2，x1x3，x2x1，x2x2，x2x3，x3x1，x3x2，x3x3)。換句話說，它希望x每個對相乘，並生成乙個9維向量。
讓我們代入數字，使它更直觀！假設 x = (1, 2, 3); y = (4, 5, 6)。則:
f(x) = (1, 2, 3, 2, 4, 6, 3, 6, 9)
f(y) = (16, 20, 24, 20, 25, 30, 24, 30, 36)
出於某種原因，我們實際上並不關心 f(x)和 f(y)。我們只想知道點積， 。點積是指 f(x)的第一維乘以 f(y)的第一維，f(x)的第二維乘以 f(y)的第二維，...... f(x)的第九維乘以 f(y)的第九維，我們把它們加起來。所以:
= 16 + 40 + 72 + 40 + 100+ 180 + 72 + 180 + 324 = 1024
很多代數！主要是因為 f 是從三維空間到九維空間的對映。儘管最終的答案只是乙個數字，但我們必須在中間「膨脹」 ，在九維空間中完成所有這些乏味的計算，然後才能濃縮成單個數字。
如果我告訴你有捷徑呢？
我聲稱，「核」 k(x, y ) = ()², 達到了同樣的效果。也就是說，我們在 x 和 y，而不是 f(x)和 f(y) 上做點積，然後平方。
讓我們來測試一下:
備註: x = (1, 2, 3); y = (4, 5, 6)
= x1y1 + x2y2 + x3y3 = 1 x 4 + 2 x 5 + 3 x 6 = 32
k(x, y) = ()² = 32² = 1024
瞧，同樣的結果。但是這個計算要容易得多，因為我們只在三維空間中進行操作。我們從未涉足九維空間！
數學定義:
現在讓我們繼續討論數學形式。
k(x, y) =
k 表示核函式。這裡 x，y 是 n 維輸入。f 是從 n 維到 m 維空間的對映。通常 m 比 n 大得多。核心是乙個函式，它接受 x 和 y 作為輸入，得到與 相同的結果，而無需計算 f(x)和 f(y)。
核心的另乙個美妙之處在於: 它們允許我們在無限維中做事情！f(x)可以是從 n 維到無限維的對映，因此不可能先寫出 f(x) 和 f(y) ，然後再做點積。核心給了我們乙個絕妙的捷徑。其中乙個例子就是徑向基核函式(rbf)核心。
與svm的關係:
這與svm有什麼關係？svm的思想是 y = w phi (x) + b，其中 w 是權重，phi 是特徵向量，b 是偏差。如果 y > 0，那麼我們把資料分為1類，否則分為0類。我們希望找到一組權重和偏差，使邊際最大化。一些教材說，核心使svm的資料線性可分。我認為乙個更精確的說法是，核心不會使資料線性可分。特徵向量 phi (x) 使資料線性可分。核心是使計算過程更快、更容易，特別是在特徵向量 phi 維度很高的情況下。
為什麼它也可以被理解為相似性的度量:
如果我們把以上核心的定義 放到 svm 和特徵向量的場景中，它變成了 。點積是指 phi(x)在 phi(y)上的投影，或者通俗地說，x 和 y 在特徵空間中有多少重疊。換句話說，他們有多相似。點積是用來度量相似性的; 核心只是用來達到點積效果，而不需要實際上做 f(x)和f(y)之間點積的一種方法。
原文：
機器學習 SVM（核函式 高斯核函式RBF）
1 格式 2 多項式核函式 對傳入的樣本資料點新增多項式項 新的樣本資料點進行點乘，返回點乘結果 一維特徵的樣本，兩種型別，分布如圖，線性不可分 為樣本新增乙個特徵 x2 使得樣本在二維平面內分布，此時樣本在 x 軸公升的分布位置不變 如圖，可以線性可分 3 優點 特點 一般將原始樣本變形，通常是將...
SVM常用核函式
以下是幾種常用的核函式表示 線性核 linear kernel 多項式核 polynomial kernel 徑向基核函式 radial basis function 也叫高斯核 gaussian kernel 因為可以看成如下核函式的領乙個種形式 徑向基函式是指取值僅僅依賴於特定點距離的實值函式，...
SVM核函式選擇
svm支援向量機，一般用於二分類模型，支援線性可分和非線性劃分。svm中用到的核函式有線性核 linear 多項式核函式pkf以及高斯核函式rbf。當訓練資料線性可分時，一般用線性核函式，直接實現可分 當訓練資料不可分時，需要使用核技巧，將訓練資料對映到另乙個高維空間，使再高維空間中，資料可線性劃分...