第二章 感知機
對於給定資料集，如果存在某個超平面 w⋅x
+b=0
w·x+b=0
w⋅x+b=
0，能夠將資料集的正類和負類樣本點完全正確劃分，則稱該資料集線性可分。
空間中任一點到超平面s的距離是：（平面s方程為w⋅x
（推導見
感知機是二分類的線性分類模型，屬於判別模型。目的是學習乙個超平面，對資料進行線性劃分，匯入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，可求得感知機模型。
線性方程 w⋅x
+b=0
w·x+b=0
w⋅x+b=
0，對ing與特徵空間中的乙個超平面s，這個超平面將空間劃分為正、負兩部分，s稱為分離超平面。
我們要做的就是，學習引數w和b，得到感知機模型。
感知機模型的優化策略是：使得誤分類點到超平面的距離總和最小，對於誤分類點x
ix_i
xi，有：−yi
(w⋅x
i+b)
>
0-y_i(w·x_i+b) > 0
−yi(w
⋅xi
+b)>
0因此，誤分類點x
ix_i
xi到超平面的距離為：−1∣
∣w∣∣
yi(w
⋅xi+
b)-\fracy_i(w·x_i+b)
−∣∣w∣∣
1yi
(w⋅
xi+
b)假設所有誤分類點集合為m，則所有誤分類點到s的總距離為：
− 1∣
∣w∣∣
∑xi∈
myi(
w⋅xi
+b)-\frac\sum_}y_i(w·x_i+b)
−∣∣w∣∣
1xi
∈m∑
yi
(w⋅x
i+b
)感知機的損失函式定義為：(m為誤分類點的集合)（注意：這裡的損失函式是經驗風險函式）
l (w
,b)=
−∑xi
∈myi
(w⋅x
i+b)
l(w,b)=-\sum_}y_i(w·x_i+b)
l(w,b)
=−xi
∈m∑
yi
(w⋅x
i+b
)感知機模型就是通過學習，使得上述損失最小。
採用隨機梯度下降來學習，更新的時候隨機選取乙個誤分類點x
ix_i
xi，讓其梯度下降（不是一次使所有誤分類點的梯度都下降）。損失函式l(w
,b)l(w,b)
l(w,b)
的梯度為：
∇ wl
(w,b
)=−∑
xi∈m
yixi
\nabla_wl(w,b)=-\sum_}y_ix_i
∇wl(w
,b)=
−xi
∈m∑
yix
iδ l(
w,b)
=−∑x
i∈my
i\delta_l(w,b)=-\sum_}y_i
δl(w,
b)=−
xi∈
m∑y
i隨機選取乙個誤分類點x
ix_i
xi，對w，b進行更新：
感知機演算法的收斂性：
對於線性可分資料集，感知機演算法原始形式收斂，即經過有限次迭代可以得到乙個將訓練資料集完全正確劃分的分離超平面及感知機模型。
統計學習方法 第二章 感知機
感知機是二分類的線性分類模型，輸入是例項的特徵x rn，輸出是例項的類別 感知機對應於輸入空間中將例項劃分為正負兩類的分離超平面，屬於判別模型。感知機學習旨在求出將訓練資料進行線性劃分的分離超平面，為此，匯入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，求得感知機模型。假設輸入空間 特徵...
統計學習方法（第二章）感知機
1 什麼是感知機 在 機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失...
感知機 《統計學習方法》第二章
模型 線性分類模型 屬於判別模型 策略 演算法 梯度下降法 由輸入空間到輸出空間的函式 f x s ign wx b f x si gn w x b 其中w是權值向量，b是偏置。wx b 0 w x b 0對應特徵空間中的乙個超平面s，w是超平面的法向量，b是超平面的截距。這個超平面將特徵空間劃分為...