統計學習 線性SVM

2021-10-01 13:41:21 字數 1587 閱讀 8623

【決策面方程】

針對2類樣本點,尋找使得分類間隔最大的分類決策面,以二維空間為例

二維空間的直線判別方程:y=ax+b    =>    ax-y+b=0  =>  ax1-x2+b=0

方程向量化:[a  -1][x1  x2]t+b=0

進一步,使用w列向量和x列向量以及標量y轉化:wtx+y=0

其中w=[w1 w2]tx=[x1 x2]t

以劃分直線y=x+1為例   對應w=[1  -1]可以看到 w向量即為原直線的法向量而y即為原直線截距

也就是判別直線可以由法向量w以及標量y決定控制

進一步推廣到n維情況,那麼判別直線變為判別超平面

其方程為:wtx+y=0稱為決策面方程超平面方程

【分類間隔】

分類間隔w=2*支援向量到決策面的距離d

以二維平面為例子,點到直線的距離公式為:

採用向量表示即為:

w=[w1 w2]    x=[x1 x2]

推廣到n維:

二範數

二範數即所有分量的平方和的開根,用於描述向量的大小

那麼線性svm劃分問題:尋找使得分類間隔最大的超平面作為分類器

轉化為:使得支援向量到決策超平面距離最大的問題

【最優化問題】

針對二維平面兩類劃分問題,規定正樣本點標記為1   負樣本點標記為-1

即針對每個樣本點xi加上額外標記量yi

要分類正確需要滿足以下方程:幾何含義是位於超平面的兩側

如果超平面剛好位於中間處,那麼支援向量樣本點到決策超平面的距離為d

進一步約束方程變為:

兩邊同時處以d  由於同時除以標量 那麼約束方程轉化為

進一步同一兩類約束方程:

那麼求解線性svm的問題轉化為乙個最優化問題:

使得帶入支援向量樣本點

即使得針對二範數(由於存在二次開方)

即等價於使得

約束條件是:

即:

min

s.t

【拉格朗日求解思路】

針對該求解問題,基本思路是:將有約束的最優化問題=》無約束的最優化問題

拉格朗日函式思路:

在可行域內滿足約束條件時與原始函式一致,在非可行域內不滿足約束條件時數值非常大

統計學習方法 SVM

在統計學習方法這個板塊中,我們學習了多個分類演算法,比如邏輯斯蒂回歸,在邏輯斯蒂回歸模型中,我們對資料集有預先的假設 資料集滿足邏輯斯蒂分布。今天我們學習另外一種分類模型,這種分類模型對資料集沒有做任何假設,它的適用性更廣,當我們尚不明確資料分布特性時,使用這個模型分類可能更合適。這個模型叫svm,...

統計學習方法 SVM學習筆記(一)

1.線性可分支援向量機 定義 通過給出的線性可分的訓練集,通過間隔最大化的求解凸二次規劃問題學習得到分割超平面 w x b 0以及相應的分類決策函式 f x sign w x b 預備知識介紹 如圖所示,圖中的實線就是乙個分割超平面,在圖中可以把兩類分開的超平面有無數個,我們要做的就是尋找乙個間隔最...

統計學習 統計學習三要素

模型是所要學習的條件概率分布或者決策函式。統計學習的目的在於從假設空間中選取最優模型。故需要引入損失函式與風險函式。損失函式 衡量模型一次 的好壞。風險函式 衡量平均意義模型 的好壞。l y,f x begin 1,y neq f x 0,y f x end l y,f x y f x 2 l y,...