1.回顧一下，w與αi,xi,yi的關係式為:
w = ∑ αi*yi*xi ，其中i = 1,2,3,...,n
我們初始化的α是乙個全為0的向量，即α1=α2=α3=...=αn=0，w的值即為0.
我們進行smo演算法時，每輪挑選出兩個變數αi，固定其他的α值，也就是說，那些從來沒有被挑選出來過的α，值始終為0，而根據前面所學，支援向量對應的αi是一定滿足 0<αi<=c的.
有了這個認識之後，為什麼不用全集呢，因為不是支援向量的樣本點，對應的αi值為0啊，加起來也沒有意義，對w產生不了影響，只有支援向量對應的點 (xi,yi)與對應的αi相乘，產生的值才對w有影響啊。
從這裡也能理解，為什麼李航書中，認為支援向量不僅僅是處於間隔邊界上的點，還包括那些處於間隔邊界和分類超平面之間、分類超平面之上、分類超平面錯誤的一側處的點了，因為後面所說的那些點，對應的αi為c，對w的計算可以起到影響作用，換句話說，就是能對w起到影響作用的點，都屬於支援向量!
2.你好，α=cα=c,這樣的樣本也是支援向量，只是不在間隔邊界上而已。參見我本系列第二篇第4節的內容和第4節的圖，圖中的紅字。
3.你好，計算求解b1new時，不需要用e1來表示，用4.3節第二個公式可以求出來，後續用e1表示，是為了求出最終的bnew, 並求出ei。
你好，每個樣本都有乙個e，上面的部分只能求出e1，即我們選擇αα對應的乙個樣本的e，其他樣本的e不能用這個公式來求的。其餘的e需要在拿到bnew後才能求。
4.劉老師您好，想想請教你個問題。既然svm 可以直接用次梯度下降去優化hinge loss，為什麼要把原問題轉換為對偶問題用smo 去優化。最後轉換為對偶形式以後，也是乙個凸優化問題。為什麼不能用梯度下降或者牛頓法等去優化，是不是因為有不等式約束？謝謝。
你好，對的，因為有不等式約束，所以不方便用梯度下降或者牛頓法直接去迭代優化求解。因為有可能你負梯度的方向不符合不等式的約束。此時不好選擇其他的方向。
svm經典綜述
a.j.smola and b.sch lkopf,a tutorial on support vector regression,stat.comput.2004,14,199 222.v.d.sanchez,advanced support vector machines and kernel ...
經典機器學習演算法系列 svm
支援向量機是比較好的分類器。對iris資料集分類可以得到100 的準確率 資料python 如下 import numpy as np from sklearn import svm from sklearn.metrics import accuracy score a np.loadtxt ir...
十大經典資料探勘演算法 SVM
十大經典資料探勘演算法 系列 c4.5 k means svmapriori empagerank adaboost knnna ve bayes cart svm support vector machines 是分類演算法中應用廣泛 效果不錯的一類。統計學習方法 對svm的數學原理做了詳細推導與...