最近在看史丹福大學的機器學習的公開課，學習了支援向量機，再結合網上各位大神的學習經驗總結了自己的一些關於支援向量機知識。
一、什麼是支援向量機(svm)?
1、支援向量機（support vector machine，常簡稱為svm）是一種監督式學習的方法，可廣泛地應用於統計分類以及回歸分析。支援向量機屬於一般化線性分類器，這族分類器的特點是他們能夠同時最小化經驗誤差與最大化幾何邊緣區，因此支援向量機也被稱為最大邊緣區分類器。
2、支援向量機將向量對映到乙個更高維的空間裡，在這個空間裡建立有乙個最大間隔超平面。在分開資料的超平面的兩邊建有兩個互相平行的超平面，分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。
3、假設給定一些分屬於兩類的2維點，這些點可以通過直線分割， 我們要找到一條最優的分割線，如何來界定乙個超平面是不是最優的呢?
如下圖：
在上面的圖中，a和b都可以作為分類超平面，但最優超平面只有乙個，最優分類平面使間隔最大化。 那是不是某條直線比其他的更加合適呢? 我們可以憑直覺來定義一條評價直線好壞的標準:
距離樣本太近的直線不是最優的，因為這樣的直線對雜訊敏感度高，泛化性較差。 因此我們的目標是找到一條直線（圖中的最優超平面），離所有點的距離最遠。 由此， svm演算法的實質是找出乙個能夠將某個值最大化的超平面，這個值就是超平面離所有訓練樣本的最小距離。這個最小距離用svm術語來說叫做間隔(margin) 。
二、如何計算最優超平面?
1、線性分類：
我們通常希望分類的過程是乙個機器學習的過程。這些資料點並不需要是
我們從下面乙個圖開始：
中間那條線是wx + b =0，我們強調所有點盡可能地遠離中間那條線。考慮上面3個點a、b和c。從圖中我們可以確定a是×類別的，然而c我們是不太確定的，b還算能夠確定。這樣我們可以得出結論，我們更應該關心靠近中間分割線的點，讓他們盡可能地遠離中間線，而不是在所有點上達到最優。因為那樣的話，要使得一部分點靠近中間線來換取另外一部分點更加遠離中間線。同時這個所謂的超平面的的確把這兩種不同形狀的資料點分隔開來，在超平面一邊的資料點所對應的 y 全是 -1 ，而在另一邊全是 1 。
我們可以令分類函式：
顯然，如果 f(x)=0 ，那麼 x 是位於超平面上的點。我們不妨要求對於所有滿足 f(x)<0 的點，其對應的="" y="" 等於="" -1="" ，而="" f(x)="">0 則對應 y=1 的資料點。如下圖。
最優超平面可以有無數種表達方式，即通過任意的縮放 w 和 b 。 習慣上我們使用以下方式來表達最優超平面
式中上面說了，我們令兩類的點分別為+1, -1，所以當有乙個新的點x需要**屬於哪個分類的時候，我們用sgn(f(x))，就可以**了，sgn表示符號函式，當f(x) > 0的時候，sgn(f(x)) = +1, 當f(x) < 0的時候sgn(f(x)) = –1。
通過幾何學的知識，我們知道點
特別的，對於超平面, 表示式中的分子為1，因此支援向量到超平面的距離是
||w||的意思是w的二範數。
剛才我們介紹了間隔(margin),這裡表示為
m = 2 / ||w||最後最大化
即：
這是乙個拉格朗日優化問題，可以通過拉格朗日乘數法得到最優超平面的權重向量w和偏置 b 。
ps1、咱們就要確定上述分類函式f(x) = w.x + b（w.x表示w與x的內積）中的兩個引數w和b，通俗理解的話w是法向量，b是截距;
2、那如何確定w和b呢？答案是尋找兩條邊界端或極端劃分直線中間的最大間隔（之所以要尋最大間隔是為了能更好的劃分不同類的點，下文你將看到：為尋最大間隔，匯出1/2||w||^2，繼而引入拉格朗日函式和對偶變數a，化為對單一因數對偶變數a的求解，當然，這是後話），從而確定最終的最大間隔分類超平面hyper plane和分類函式；
3、進而把尋求分類函式f(x) = w.x + b的問題轉化為對w，b的最優化問題，最終化為對偶因子的求解。
史丹福大學深度學習開言
歡迎來到深度學習的教程！描述 本教程將教你關於無監督式學習和深度學習的主要思想。在學習它們的過程中，你也將需要實現幾個深度學校的演算法，看著它們為你工作，並且學習怎樣使用或者應用這些思想到新的問題中。本教程假定你有機器學習的基本知識 具體而言，便是熟悉監督學習的思想，邏輯回歸，梯度下降 如果你並不熟...
史丹福大學機器學習公開課
寒假玩了大半了，把各種遊戲給解除安裝了，正兒八經的學習啦。一直想把這個公開課看完，上學的時候吧不想看，放假了也不想看，胡亂寫寫，作為乙個渣渣，把不明白給記下來。這個公開課的第一課，主要是介紹了機器學習概念應用什麼的，好像主要是概念吧，之前看的記不太清了。第二課 監督學習應用 梯度下降 可以看這個鏈結...
史丹福大學與矽谷
1951年，史丹福大學的工程學院院長弗雷德里克 特曼 frederick terman 決定創辦在校園創辦工業園區，將校園的土地租給當時的高科技公司使用，就被認為是這樣乙個瞬間。這一決定不僅奠定了矽谷的基礎，也徹底改變了史丹福大學的格局，他本人也因此被尊稱為 矽谷之父 史丹福大學物理系沈志勳教授，s...