SVM常見的面試題整理

svm的原理是什麼？

svm是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。（間隔最大是它有別於感知機）

（1）當訓練樣本線性可分時，通過硬間隔最大化，學習乙個線性分類器，即線性可分支援向量機；

（2）當訓練資料近似線性可分時，引入鬆弛變數，通過軟間隔最大化，學習乙個線性分類器，即線性支援向量機；

（3）當訓練資料線性不可分時，通過使用核技巧及軟間隔最大化，學習非線性支援向量機。

svm為什麼採用間隔最大化？

當訓練資料線性可分時，存在無窮個分離超平面可以將兩類資料正確分開。

感知機利用誤分類最小策略，求得分離超平面，不過此時的解有無窮多個。

線性可分支援向量機利用間隔最大化求得最優分離超平面，這時，解是唯一的。另一方面，此時的分隔超平面所產生的分類結果是最魯棒的，對未知例項的泛化能力最強。

為什麼要將求解svm的原始問題轉換為其對偶問題？

一、是對偶問題往往更易求解（當我們尋找約束存在時的最優點的時候，約束的存在雖然減小了需要搜尋的範圍，但是卻使問題變得更加複雜。為了使問題變得易於處理，我們的方法是把目標函式和約束全部融入乙個新的函式，即拉格朗日函式，再通過這個函式來尋找最優點。）

二、自然引入核函式，進而推廣到非線性分類問題。

為什麼svm要引入核函式？

當樣本在原始空間線性不可分時，可將樣本從原始空間對映到乙個更高維的特徵空間，使得樣本在這個特徵空間內線性可分。

引入對映後的對偶問題：

在學習**中，只定義核函式k(x,y)，而不是顯式的定義對映函式ϕ。因為特徵空間維數可能很高，甚至可能是無窮維，因此直接計算ϕ(x)·ϕ(y)是比較困難的。相反，直接計算k(x,y)比較容易（即直接在原來的低維空間中進行計算，而不需要顯式地寫出對映後的結果）。

核函式的定義：k(x,y)=<ϕ(x),ϕ(y)>，即在特徵空間的內積等於它們在原始樣本空間中通過核函式k計算的結果。

除了 svm 之外，任何將計算表示為資料點的內積的方法，都可以使用核方法進行非線性擴充套件。

為什麼svm對缺失資料敏感？

這裡說的缺失資料是指缺失某些特徵資料，向量資料不完整。svm沒有處理缺失值的策略（決策樹有）。而svm希望樣本在特徵空間中線性可分，所以特徵空間的好壞對svm的效能很重要。缺失特徵資料將影響訓練結果的好壞。