感知機是一種簡單的二類分類的線性分類模型，用於處理可以線性可分的二分類問題。感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型。
模型。從輸入空間到輸出空間有如下函式 f(
x)=s
ign(
wtx+
b)其中w
為權值，
b為偏執。生成的超平面為 wt
x+b=
0 其中w
為超平面的法向量，
b為超平面的截距，超平面到原點的距離為−b
||w|
| .
策略。損失函式選取為誤分類點到超明面的總距離 l(
w,b)
=−∑x
i∈my
i(wt
xi+b
) 其中m
為誤分類點的集合。
原始演算法
採用隨機梯度下降法，極小化過程不是一次使用m中所有的誤分類點進行梯度下降，而是每次隨機選取乙個誤分類點使梯度下降。演算法為 w←
w+ηy
ixib
←b+η
yi其中0
≤η≤1
為學習速率。
選取初值 w，b
while l>0
隨機選乙個樣本：
if yi*(w*xi+b)<=0
w=w+eta*yi*xi
b=b+eta*yi
對偶演算法
上述原始演算法對權值修正為
w←w+
ηyix
ib←b
+ηyi
若修改n次，則w,
b 的關於(x
i,yi
) 增量分別是αi
yixi
與αiyi
，這裡αi
=niη
，ni表示(x
i,yi
) 被選為誤分類點的次數。則最後的權值引數可以表示為 w=
∑i=1
nαiy
ixib
=∑i=
1nαi
yi例項點更次次數越多，意味著它距離分類超平面越近，也就越難正確分類，這樣的點對學習結果影響最大。
演算法：
1. α←0
,b←0
2. 在訓練集中選取資料(x
i,yi
)
3. 如果yi
(∑j=
1nαj
yjxj
⋅xi+
b)≤0
αi=αi+η
b=b+
ηyi
4. 轉到2，直到沒有誤分類資料
對偶形勢中，訓練例項僅以內積的形式出現，則可以離線的計算出內積並儲存到矩陣中，這個矩陣則為gram矩陣 g=
[xi⋅
xj]n
×n
機器學習 感知機
r nx rn 輸出空間為y 輸入x x x x表示例項的特徵向量，對應於輸入空間的點 輸出y y表示示例的類別。由輸入空間到輸出空間的函式為 x si gn w x b f x sign w x b x w x表示w和x的點積i 1mwi xi w 1x1 w2x2 wnx n i 1mwixi ...
機器學習 感知機
1 感知機是二分類的線性模型，輸入空間是例項的特徵向量，輸出是例項的類別 1，1 屬於判別模型。2 假設資料線性可分，感知機的學習目標是求得乙個能夠將訓練集資料正例和負例完全分開的分離超平面，如果訓練資料線性不可分，那麼就無法獲得這個超平面 抑或問題 針對抑或問題，解決方法是多層感知機組合。3 輸入...
機器學習 感知機perceptron
在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化 最優...