乙個複雜的模式分類問題，在高維空間中線性可分的概率比在低微空間中更大。
二維空間中有4個點，其中是一類，是一類，在二維空間中這4個點不是線性可分得。但是如果把這四個點對映到乙個合適的三維空間，比如將(1, 1)對映到(1, 1, 1)，(-1, -1)對映到(-1, -1, 1)，將(-1, 1)與(1, -1)對映到(-1, 1, -1)與(1, -1, -1)，則可以發現，這四個點在三維空間中是線性可分的。
假設現有的資料是 n
nn 維的，而且它是線性不可分的，我們需要找到乙個對映 φ
\varphi
φ 將現有的 n
nn 維空間的資料對映到 p
pp 維，n
<
pn < p
n<
p。找到對映 φ
\varphi
φ 是困難的，但是實際上，我們不需要知道 φ
\varphi
φ 的具體形式，只需要知道高維空間（希爾伯特空間-完備的內積空間）中的乙個內積 <φ(
xi)，
φ(xj
)>
<\varphi(x_i)， \varphi(x_j)>
<φ(
xi)
，φ(x
j)>
即可，這個內積就定義為核k
並不是所有的二元函式都可以成為核函式，這裡考慮正定核，而且是對稱核（在實數空間中需要考慮對稱，在酉空間中不需要考慮）。
對於二元函式k，k滿足對稱性，即k(x
,y)=
k(y,
x)
k(x,y) = k(y,x)
k(x,y)
=k(y
,x)，若任意的
x1,…,
xn} 包含於x，gram矩陣 [k(
xi,x
j)
][k(x_i, x_j)]
[k(xi
,xj
)]是半正定的，則稱函式k是正定核，k是希爾伯特空間中的乙個正定核函式。矩陣 [k(
xi,x
j)
][k(x_i, x_j)]
[k(xi
,xj
)]是n ×n
n\times n
n×n的對稱矩陣。
常用的核函式有高斯核，多項式核，線性核，sigmoid核等。
機器學習中的核技巧
真正接觸核方法應該是在 svm 正常情況下，感知機演算法和支援向量機都是預設資料是線性可分的，這類問題叫做線性分類問題。當資料線性不可分的時候，但高維可分 這個不理解可以多看看書 我們仍然想用線性分類的方法去解決，這個時候就需要用非線性變換將非線性問題轉換成線性問題。於是，我們得到求解非線性分類問題...
馬普所2008 機器學習中的核方法（上）
hofmann t sch?lkopf b smola a j kernel methods in machine learning j annals of stats,2008,36 3 1 integrating structured biological data by kernel maxi...
機器學習之核函式
建議看這個，中文的 這裡面會講解kernel 的基本概念,svm,lda,lr，pca等如何使用kernel版本 本文大致講解核函式的定義，限制，使用等 機器學習中，對於線性可分的情況研究的比較透徹，可以採用svm lr 感知機等成熟的機器學習模型，但是很多情況是我們希望我們的模型學習非線性的模型。...