很早就買了《資料探勘中的新方法--支援向量機》，一直沒有認真看。最近複習了向量，空間，矩陣，然後從頭開始看發現逐漸看出一些門道了。
支援向量機，開始給人的感覺很高階，其實也是一類求最大值的問題。只是樣本都是一些向量，劃分的時候也是用直線去劃分。
這是一類求最大化，最小化求值。
一切都是從簡單的二維點的劃分開始的。了解二維點的劃分，對支援向量機就開始入門了。
兩類線性不可分得點得集合，通過合適的核函式，可以把點對映到高維空間去做線性劃分。比如1類點是大圓，另外一類點在圓內部，那麼可以通過平方函式做對映。一般選擇高斯核函式，其實是一種偷懶的方法，因為它可以保證在無限維空間中是線性可分的。
所謂核函式，就是把樣本資料轉化到另外乙個空間做劃分用的。對於不同的資料，就應該是使用不同核函式。理解了這些，對解決問題，一定更好的作用。
而這些空間就是用到了hibert空間等知識。
看了這本書，我更加堅信直觀對於知識學習的重要性。乙個很複雜的演算法，其基本思想一定可以用幾句通俗的話來描述。如果不能描述，說明對這個理論沒有足夠的理解。
支援向量機SVM原理
支援向量和間隔邊界 如上圖所示，舉例來說 如上圖所示，其中x1，x2為正例，x3為反例，則svm希望有如下約束 支援向量機模型中，我們的學習目標 至此，我們已經推導完畢，得到最優的w,b。從上式上我們可以看出，分類決策函式只依賴於輸入x和訓練樣本輸入的內積 這一內積又與後面的核函式有著千絲萬縷的聯絡...
SVM 支援向量機 原理
1.svm support vector machine 支援向量機 是一種有監督的分類演算法 有監督的分類模型 就是事先對資料打上標籤,這樣機器就知道資料是哪個分類.無監督是事先沒有打標籤,比如資料聚類,然後對每個類精心分析.svm通常是幫我們模式識別,分類以及回歸分析.2.svm計算的過程就是找...
支援向量機SVM原理（一）
1 簡介 支援向量機基本上是最好的有監督學習演算法了。最開始接觸svm是去年暑假的時候，老師要求交 統計學習理論 的報告，那時去網上下了乙份入門教程，裡面講的很通俗，當時只是大致了解了一些相關概念。這次斯坦福提供的學習材料，讓我重新學習了一些svm知識。我看很多正統的 都是從vc 維理論和結構風險最...