1.線性可分支援向量機
定義：通過給出的線性可分的訓練集，通過間隔最大化的求解凸二次規劃問題學習得到分割超平面 w*x+b
=0以及相應的分類決策函式 f(x)=sign(w*x+b
)預備知識介紹：
如圖所示，圖中的實線就是乙個分割超平面，在圖中可以把兩類分開的超平面有無數個，我們要做的就是尋找乙個間隔最大的超平面（具有容錯性）
函式間隔： ri=y_i(wx_i+b) （只能判斷劃分的置信度即是否劃分正確，當w和b同時擴大相同的倍數時，r增大，其實超平面沒有變）
幾何間隔：ri=y_i(wx_i+b)/||w||
最大化幾何間隔
max r
s.t y_i(wx_i+b)/||w||>r (資料集中的每個點到超平面的距離都小於等於r)
進一步的化簡改進
max r/||w||
s.t y_i(wx_i+b)>r
又因為函式間隔r的大小不影響分割超平面，所以令r=1，max 1/||w||與最小化1/2||w||^2等價
所以最終需要優化的函式變為
min 1/2||w||^2
s.t y_i(wx_i+b)-1>=0
求解對偶問題：由於原問題可能不好求解，且為了後面求解線性不可分問題引入和函式，所以將原問題轉換為對偶問題求解
預備知識
1.拉格朗日函式： 在機器學習中，約束條件往往比較複雜並且較多。因此先計算約束條件再在約束空間中計算最優值非常不方便。於是用廣義拉格朗日函式將帶約束優化問題轉化為無約束優化問題
首先將約束條件變為小於等於（原因後面介紹）
原問題就變成了min(w,b) max(a) l(w,b,a)的無約束問題
將約束條件變為小於等於是由於max l(w,b,a)的值就變成了1/2||w||^2正好和原問題一樣
對偶問題（將min max換位置）
max(a) min(w,b) l(w,b,a)
(未完待續)
統計學習方法 SVM
在統計學習方法這個板塊中，我們學習了多個分類演算法，比如邏輯斯蒂回歸，在邏輯斯蒂回歸模型中，我們對資料集有預先的假設 資料集滿足邏輯斯蒂分布。今天我們學習另外一種分類模型，這種分類模型對資料集沒有做任何假設，它的適用性更廣，當我們尚不明確資料分布特性時，使用這個模型分類可能更合適。這個模型叫svm，...
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...