《統計學習方法》極簡筆記P2 感知機數學推導

輸入空間是$\chi\subseteq\mathbb^n$,輸出空間是$y=$

感知機定義為：$f(x)=sign(wx+b)$

輸入空間任一點$x_0$到超平面s的距離：

$\frac|wx_0+b|$

誤分類資料$(x_i,y_i)$,有$-y_i(wx_i+b)>0$

誤分類點$x_i$到超平面s的距離$-\fracy_i(wx_i+b)$

誤分類點集合m,所有誤分類點到超平面s的距離

$-\frac\sum_}y_i(wx_i+b)$

由此，感知機損失函式定義為

$l(w,b)=-\sum_}y_i(wx_i+b)$

輸入：訓練資料集

$t=$

$x_i\in\chi\subseteq\mathbb^n$,$y_i\in=$,學習率$\eta$

輸出：w,b;感知機模型$f(x)=sign(wx+b)$

(1)選取初值$w_0$,$b_0$

(2)訓練集選取$(x_i,y_i)$

(3)if $y_i(wx_i+b)≤0$

$w←w+\eta$

$b←b+\eta$

(4)轉至(2),直到沒有誤分類點。

另：感知機演算法是收斂的，在訓練資料及上的誤分類次數k滿足

$k≤(\frac)^2$

由原始形式

$w←w+\eta$

$b←b+\eta$

進行n次,w,b關於$(x_i,y_i)$增量分別為$a_iy_ix_i$和$a_iy_i$

記$a_i=n_i\eta$,最後學習到的w,b表示為

$w=\sum_^a_iy_ix_i$

$b=\sum_^a_iy_i$

輸入：訓練資料集

$t=$

$x_i\in\chi\subseteq\mathbb^n$,$y_i\in=$,學習率$\eta$

輸出：a,b;感知機模型$f(x)=sign(\sum_^a_jy_jx_j·x+b)$

其中$a=(a_1,a_2,...,a_n)^t$

(1)$a←0$;$b←0$

(2)訓練集選取$(x_i,y_i)$

(3)if $y_i(\sum_^a_jy_jx_j·x_i+b)≤0$

$a_i←a_i+\eta$

$b←b+\eta$

(4)轉至(2),直到沒有誤分類點。

記gram矩陣$g=[x_i·x_j]_$

《統計學習方法》極簡筆記P2 感知機數學推導

輸入空間是 chisubseteqmathbb n 輸出空間是 y 感知機定義為 f x sign wx b 輸入空間任一點 x 0 到超平面s的距離 frac wx 0 b 誤分類資料 xi,yi 有 yi wxi b 0 誤分類點 xi 到超平面s的距離 fracyi wx i b 誤分類點集合...

《統計學習方法》2 感知機

感知機 perceptron 是二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化 最優化 感知機的學習演算法具有簡單而易...

統計學習方法筆記 感知機

感知機是二類分類的線性模型，其輸入為例項的特徵向量，輸出為例項的類別，取 1和 1二值，屬於判別模型。分為原始形式和對偶形式。是神經網路與支援向量機的基礎。由輸入空間到輸出空間的如下函式 f x sign w x b 稱為感知機.其中，w和b為感知機模型引數，sign是符號函式，即 感知機模型的假設...