SVM學習筆記1 問題定義

問題定義：給出一些樣本，包含兩類。svm試圖找到乙個超平面，將資料分開，並且每種樣本到超平面的距離的最小值最大。

輸入樣本：$\,y_| 1\leq i\leq n \}$,$y_\in \$

超平面定義:$w^x+b=0$

設某乙個取樣點$x^$到超平面的距離為$\gamma^$,那麼從$x^$作方向為w的射線，其與超平面的交點為b，取樣點到b的距離為$\gamma^$，那麼b可以用這樣的向量表示$b=x^-\gamma^\frac$。

由於b在超平面上，所以有:$w^(x^-\gamma^\frac)+b=0$

我們從中解得$\gamma^=(\frac)^x^+\frac$。當$y^=1$時此值為正數，否則為負數，所以我們將其乘以$y^$，那麼此時$\gamma^=y^((\frac)^x^+\frac)$

現在令$||w||=1$,按照我們問題定義中的描述，我們要解決的問題是這樣的：$max_$ $\gamma$，使得(1)$y^(w^x^+b)\geq \gamma ,1 \leq i \leq n$,(2)$||w||=1$

由於$||w||=1$的限制不利於求解，所以我們將求解換成如下的描述$max_$ $\frac $，使得$y^(w^x^+b)\geq \gamma ,1 \leq i \leq n$。此時$w$的大小可以任意取。

進一步我們令$\gamma=1$,那麼現在變為$max_$ $\frac $，使得$y^(w^x^+b)\geq 1 ,1 \leq i \leq n$

最後，將求解問題變成$min_$ $\frac||w||^$，使得$y^(w^x^+b)\geq 1 ,1 \leq i \leq n$。