在支援向量機（svm）的學習中也算過了一年多些時候了，記得開始接觸是在去年現在的早些時候，那時做的畢業設計的題目就是與這個相關，只不過應用的背景是影象處理一塊的內容。
學習總是由淺入深的過程，看了點點的知識，然後就拍腦袋搞起了「創新」（真是有點像一位憤青的老師說的：一拍腦袋這就算是智慧型了。。。）。
研究生就一直做了下來，真正算起就是這麼一年的時間，認識的實在是膚淺短少。
一開始用的是matlab自帶的支援向量機工具箱，而且還是用裡面的qp演算法進行求解，稍微大一點的資料集進行訓練，立馬就不行了。也怪當時對於matlab學的不咋地，對於其工具箱的精髓也沒有怎麼深挖，於是最終做出來的本科畢業設計就那麼半身不遂了。。。
這第一年初，又在不同的方向上面迂迴了兩三個月，遲遲沒有進展，反正每天接觸的都是一些新知識，基本上都是半監督裡面的一些東西。（基本上看完了也就忘完了，只怪當時沒有仔細地做個筆記）
真正開始寫東西的時候，又掉頭來找svm，這畢竟還熟悉些（一直對此念念不忘的主要是因為當時畢業設計時候，還有幾個疙瘩沒有解開）。svm提出來也都算是跨世紀的時間了，雖然是上個世紀末提出來的，但是至今也算小有年頭了，不過一直還是當做新穎的東西被國人咀嚼。提出來svm的大神vapnik著作《統計學習理論》[1]，其實早就買了，就是一直沒有勇氣讀完，每天只把它們供著，算是祭奠祖師爺了。（陰暗一點，國內估計很少有人仔細了解過這本書，要不也不會出這麼多不堪入目的**出來，遺禍萬年）。
在學習應用過程中，首推林智仁編寫的libsvm工具箱（至今尚未發現有多少的支援向量機的工具箱能夠比這個有所優越的，而且其小組在相關領域所積累的經驗也的確算得上是雄厚）。
相關在此工具箱的應用上面有所成就的國內還真不少，像matlab論壇裡的faruto等生，在應用上面還是做了一系列的推廣普及工作。
[1] v. n. vapnik, statistical learning theory: john wiley&sons, 1998.
支援向量機專題 線性支援向量機
原文 當資料線性不可分時，使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分，可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類，如果使用線性支援向量機，它會盡量使得所有訓練樣本都正確，如下圖所示。顯然這並不是最好的結果，軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...
支援向量機
支援向量 與分離超平面距離最近的樣本點的例項 優點 泛化錯誤率低，計算開銷不大，結果易解釋 缺點 對引數調節和核函式選擇敏感，原始分類器不加修改僅適用於處理二分類問題 適合資料型別 數值型和標稱型資料 每次迴圈中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，那麼久增大其中乙個同時減小...