svm
1.介紹
支援向量機svm是一種有監督的機器學習演算法，是乙個非常經典且高效的分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機；svm還包括核技巧，這使它成為實質上的非線性分類器。svm的的學習策略就是間隔最大化，可形式化為乙個求解凸二次規劃的題，也等價於正則化的合頁損失函式的最小化問題。svm的的學習演算法就是求解凸二次規劃的最優化演算法。
2.svm思想
a.線性
假設給定乙個特徵空間上的訓練資料集：
其中，xi為第i個特徵向量,yi為類標記,當它等於+1時為正例；為-1時為負例。再假設訓練資料集是線性可分的。
幾何間隔：對於給定的資料集t和超平面w*x+b=0 ,定義超平面關於樣本點(xi,yi)的幾何間隔為：
超平面關於所有樣本點的幾何間隔的最小值為：
根據以上定義，svm模型的求解最大分割超平面問題可以表示為以下約束最優化問題：
將約束條件兩邊同時除以y ，得到
(1/2是為了後面求導以後形式簡潔，不影響結果），因此svm模型的求解最大分割超平面問題又可以表示為以下約束最優化問題:
使用拉格朗日乘數法,上式的拉格朗日函式為:
其中,拉格朗日乘子≥0，原問題等價為：
看一下我們的新目標函式，先求最大值，再求最小值。這樣的話，我們首先就要面對帶有需要求解的引數b和w的方程，而拉格朗日乘子又是不等式約束，這個求解過程不好做。所以，我們需要使用拉格朗日函式對偶性，將最小和最大的位置交換一下。
計算l(w,b,a)關於w和b的導數,並分別令為零.得到:
經過上面第乙個步驟的求w和b，得到的拉格朗日函式式子已經沒有了變數w，b，只有a。從上面的式子得到：
對於這個問題，我們有更高效的優化演算法，即序列最小優化（smo）演算法。
我們通過這個優化演算法能得到a，再根據a，我們就可以求解出b和 w，進而求得我們最初的目的：找到超平面，即」決策平面」。
b.核函式
機器學習 SVM（核函式 高斯核函式RBF）
1 格式 2 多項式核函式 對傳入的樣本資料點新增多項式項 新的樣本資料點進行點乘，返回點乘結果 一維特徵的樣本，兩種型別，分布如圖，線性不可分 為樣本新增乙個特徵 x2 使得樣本在二維平面內分布，此時樣本在 x 軸公升的分布位置不變 如圖，可以線性可分 3 優點 特點 一般將原始樣本變形，通常是將...
python高斯核函式運用 高斯核函式
在計算機視覺中，有時也簡稱為高斯函式。高斯函式具有五個重要的性質，這些性質使得它在早期影象處理中特別有用.這些性質表明，高斯平滑濾波器無論在空間域還是在頻率域都是十分有效的低通濾波器，且在實際影象處理中得到了工程人員的有效使用.高斯函式具有五個十分重要的性質，它們是 1 二維高斯函式具有旋轉對稱性，...
高斯核函式
參考鏈結 高斯卷積運算元 def getgausskernel sigma,h,w 構建高斯矩陣，得到中心點位置 gaussmatrix np.zeros h,w np.float32 ch h 1 2 cw w 1 2 for r in range h for c in range w norm2...