svm(support vectormachine)
,被認為是
「off-the-shelf」
最好的監督機器學習演算法之一,甚至很多人認為可以把「之一
」去掉。
svm有著天然的
intuition
,大量的數學推導和優雅的解形式
(有了大量的數學推導,自然就容易發
*****啦)
。實際上
svm在工業界也有著廣泛的應用如,文字分類、影象分類、生物醫學診斷和手寫字元識別等。有關
svm資源非常之多,本文嘗試總結一些比較好的
svm學習資源。
0.維基百科
如果想迅速的了解
svm一些基礎概念,維基百科是乙個不錯的選擇,
svm。雖然是乙個基礎性資源,但維基百科裡面的有關
svm知識並不是那麼簡單,如果能理解維基百科裡面的內容,說明你的數學功底還是相當厲害的。
1.課程資源
stanford
大學andrewng
。有關svm
的課程從第
6課開始到第
8課結束,橫跨了
3follow
課程的內容,相信對
svm就會有很好的掌握。
2.部落格資源
經過第一步的課程資源學習後,如果仍然對
svm一知半解,網路上的優秀部落格資源將會是乙個很好的補充與加強。
1)第一篇部落格資源是
leftnoeasy
的svm
博文:)第二篇部落格資源是
freemind
的博文:
)第三篇部落格資源是
leo zhang
:。三個部落格的難度從易到難,三篇部落格都非常精彩,第一篇部落格非常適合作為學習
svm入門型資源,第二篇部落格由淺入深的闡釋了
svm,似有科學小品之感,最後一篇部落格理論性非常強,並在博文最後用
python
實現了乙個
svm分類器,如果想深入的理解
svm,第三個部落格是不可錯過資源。
3.**
&書籍資源
1)**:
j.c.burges
的**:
<<
a tutorial on support vectormachines for pattern recognition
>>
glennm.fung
的**:
<<
knowledge-based support vectormachine classifiers
>>
b. e.boser, i. m. guyon, and v .vapnik
的**:
<<
a training algorithm for optimal margin classifiers
>>
2)書籍:
johnshawe-taylor & nello cristianini
的書:<<
support vector machines and other kernel-based learning methods
>>
機器學習的經典教材,
bishop
的書:<<
pattern recogition and machine learing
>>,第7
章<>
前面部分是有關
svm的論述
vapnik
的經典著作:
<<
the nature of statisticallearning theory
>>
4.tooktiks
本節介紹
svm比較有名的開源工具:
libsvm, svmlight, liblinear
。libsvm
是由台灣大學林智仁
(lin chih-jen)
教授等開,國內用的較多一點,
svmlight
由卡內基梅隆大學
thorstenjoachims
教授開發的工具包,
liblinear
也是有台灣大學林智仁教授團隊開發的工具包,針對大規模線性分類問題
(大規模文字分類)。
三個工具包有各自的優點:
libsvm
與liblinear
支援多分類問題,而
svmlight
並不支援多分類;
svmlight
與liblinear
特別是在資料規模比較大的情況下,要比
libsvm
快;libsvm
直接支援樣本後驗概率輸出,但
svmlight
與liblinear
並不直接支援;
libliner
僅能處理線性可分的問題。在實際過程中,需要依據自己的任務,選擇合適的
svm工具。參考
,歡迎交流!
SVM學習總結(一)如何學習SVM
前段時間一直在鑽研svm演算法,原先一直覺得乙個非常簡單的演算法,沒想到在學的時候還挺難,主要還是對凸優化方面的知識不太熟悉,以後得加強,下面主要說說svm演算法的學習思路 對小白初學者 通過各種資料的對比學習,我個人覺得使用李航的 統計學習方法 第七章,再輔助以網上的資料應該就差不多了,然後再寫個...
SVM學習總結
1 為啥要大於等於1,為啥是1 w 上面的函式間隔為啥可以忽略?這裡做了簡化處理,把支援向量到分離超平面的距離簡化為1了。相當於做了乙個標準化,這就是規定。因為函式間隔通過調整,通過w 和b的等比例變化,是可以忽略的。你可以把1 w 和 s.t.後面的條件同時放大縮小同樣的倍數。直觀的理解就是,法向...
SVM學習筆記
svm方法被稱為最大間隔分類,考慮乙個兩個feature的例子,如下圖所示,所有的劃分都是正確的,但顯然紅色的線是最好的劃分,因為其抵抗擾動的能力更強,容錯性更好,魯棒性好。兩類中最靠近分類界限的點沿分類線 平面 的距離最大,這個距離就是所謂的magin,中文應該是間隔的意思。如下圖中的紅色兩個點,...