原文：
svm必須搭配kernel l函式才能讓svm可以在分類問題中得到非常好的效能
kernel trick在機器學習的角色就是希望當不同類別的特徵在原始空間中無法被線性分類器區隔開來時，經由非線性投影後的特徵能在更高維度的空間中可以更區隔開。
是對映關係 的內積，對映函式本身僅僅是一種對映關係，並沒有增加維度的特性，不過可以利用核函式的特性，構造可以增加維度的核函式，這通常是我們希望的。
當我們無法在原始空間(rd)中適當的找到乙個線性分類器將兩類區隔開，需要找到乙個非線性投影(φ)將特徵進行轉換到更高維度的空間，此時在高維度的空間中只需要乙個線性分類器/hyperplane就可以完美分類。
而這個更高維度的空間則稱為hilbert space(h)。
核技巧(kernel trick)的作用，一句話概括的話，就是降低計算的複雜度，甚至把不可能的計算變為可能。
希爾伯特空間（hilbert space）是什麼？
柯西序列：
在數學中，乙個柯西序列是指乙個這樣乙個序列，它的元素隨著序數的增加而愈發靠近。更確切地說，在去掉有限個元素後，可以使得餘下的元素中任何兩點間的距離的最大值不超過任意給定的正的常數。柯西列是以數學家奧古斯丁·路易·柯西的名字命名的。
向量空間
向量空間又稱線性空間，是線性代數的中心內容和基本概念之一。在解析幾何裡引入向量概念後，使許多問題的處理變得更為簡潔和清晰，在此基礎上的進一步抽象化，形成了與域相聯絡的向量空間概念。譬如，實係數多項式的集合在定義適當的運算後構成向量空間，在代數上處理是方便的。單變元實函式的集合在定義適當的運算後，也構成向量空間，研究此類函式向量空間的數學分支稱為泛函分析。
泛函分析
泛函分析是20世紀30年代形成的數學分科，是從變分問題，積分方程和理論物理的研究中發展起來的。它綜合運用函式論，幾何學，現代數學的觀點來研究無限維向量空間上的泛函，運算元和極限理論。它可以看作無限維向量空間的解析幾何及數學分析。泛函分析在數學物理方程，概率論，計算數學等分科中都有應用，也是研究具有無限個自由度的物理系統的數學工具。
mercer定理
mercer 定理：任何半正定的函式都可以作為核函式。所謂半正定的函式f(xi,xj)，是指擁有訓練資料集合（x1,x2,…xn)，我們定義乙個矩陣的元素aij = f(xi,xj)，這個矩陣式n*n的，如果這個矩陣是半正定的，那麼f(xi,xj)就稱為半正定的函式。這個mercer定理是核函式必要條件.
機器學習中常用的核函式，一般有這麼幾類，也就是libsvm中自帶的這幾類：
線性：k(v_1,v_2)=
多項式：k(v_1,v_2)=(\gamma+c)^n
radial basis function：k(v_1,v_2)=\exp(-\gamma||v_1-v_2||^2)
sigmoid：k(v_1,v_2)=\tanh(\gamma+c)
SVM中關於核函式的理解
如果訓練樣本不是線性可分的,那麼只要樣本的屬性是有限個,就可以將其對映到高維特徵空間,使這些樣本線性可分.問題 為什麼要讓這些樣本線性可分?當對映到高維空間後,想要得到模型 function 那麼計算難度是非常大的.此時我們可以使用核函式來簡化計算.那麼什麼樣的函式可以作為核函式呢?只要乙個對稱函式...
對卷積公式的形象理解
被棒打了會覺得疼，一直被打一直疼。我們假設h t h t h t 代表乙個人 比如bob 在受到單位衝擊函式 t delta t t 之後的衝擊響應。則這個衝擊響應可以認為是在單位力衝擊的作用下，bob感受到的疼痛度隨時間的變化關係。我們可以假設bob的疼痛值 假設用x xx表示 等於疼痛度與當時力...
核函式的理解
一些分類問題，如果對於一些原理上就有缺陷的分類器 對，沒錯，就是以樣本為線性可分為基礎所提出的理論推導的分類器 來說，如果樣本是線性不可分，那麼就麻煩了。原本的理論就不適用了。但是，人們想出了乙個辦法，把這個問題轉化的很巧妙。人們想，是不是可以將原始空間中的點對映到乙個更高維度的特徵空間上去，使得樣...