1.svm:
svm，全稱是support vector machine，中文名叫支援向量機。svm是乙個面向資料的分類演算法，它的目標是為確定乙個分類超平面，從而將不同的資料分隔開。
2.svm為什麼採用間隔最大化：
1.當訓練資料可分的時候，存在很多超平面可以將資料分開
2.感知機利用誤分類最小策略，求得分離超平面，不過此時的解有無窮多個。
3.線性可分支援向量機利用間隔最大化求得最優分離超平面，這時，解是唯一的。另一方面，此時的分隔超平面所產生的分類結果是最棒的，對未知例項的泛化能力最強。
然後應該藉此闡述，幾何間隔，函式間隔，及從函式間隔—>求解最小化1/2 ||w||^2 時的w和b。即線性可分支援向量機學習演算法—最大間隔法的由來。
3.為什麼要將求解svm的原始問題轉換為其對偶問題？
一、是對偶問題往往更易求解（當我們尋找約束存在時的最優點的時候，約束的存在雖然減小了需要搜尋的範圍，但是卻使問題變得更加複雜。為了使問題變得易於處理，我們的方法是把目標函式和約束全部融入乙個新的函式，即拉格朗日函式，再通過這個函式來尋找最優點。）
二、自然引入核函式，進而推廣到非線性分類問題。
4.為什麼要引入svm核函式？
當樣本在原始空間線性不可分時，可將樣本從原始空間對映到乙個更高維的特徵空間，使得樣本在這個特徵空間內線性可分。
當資料是線性不可分的情況下，svm求解分類的超平面是使用核函式。有的資料在低維空間不可分，但是對映到高維空間後它可能是線性可分的，比如，一維線上的點不線性可分，對映到二維（平方函式）就可能可以分開了。但是在對映的時候有乙個問題，是乙個計算問題，低維空間對映到高維空間，在高維空間上直接計算的話回產生乙個維災難的問題（2->5, 3->19...）。這個地方就引入了核函式，核函式是計算兩個向量在隱式對映過後的空間中的內積的函式，通過核函式可以使資料不用在對映後的高維空間中計算，而是在原來的低維空間中計算（在原來的低維空間上做內積）。
5.鬆弛變數
鬆弛變數的引入也就是允許某些點離超平面的距離小於1，也即放棄了這些點的分類精度，懲罰因子決定了對離群點的重視程度，c越大，表示分錯某乙個點需要付出更大的代價（這個可以一定程度上緩解正負樣本數量相差太大的問題）。
6.lr和svm的相同點和不同點：
相同點：1.都是分類演算法 2.都是線性分類器 3.都是監督學習演算法 4.lr和svm都是判別模型
不同點：1.邏輯回歸的損失函式，支援向量機的目標函式,2.支援向量機只考慮區域性的邊界線附近的點，而邏輯回歸考慮全域性
3.支援向量機改變非支援向量樣本並不會引起決策面的變化 ，邏輯回歸中改變任何樣本都會引起決策面的變化
4.在解決非線性問題時，支援向量機採用核函式的機制，而lr通常不採用核函式的方法。
5.線性svm依賴資料表達的距離測度，所以需要對資料先做normalization，lr不受其影響。
7.svm的損失函式就自帶正則，而lr必須另外在損失函式上新增正則項。
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域，很多時候會用到分類的一些演算法，例如knn，貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分，什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量，當...