感知機是二類分類的線性分類模型，其輸入為例項的特徵向量，感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型。匯入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，求得感知機模型。感知機學習演算法分為原始形式和對偶形式，是神經網路和支援向量機的基礎。
感知機定義：
假設輸入空間（特徵空間）是x，輸出空間是y，y的取值為+1和-1，輸入x表示例項的特徵向量，對應於輸入空間（特徵空間）的；輸入y表示例項的類別。由輸入空間到輸出空間的如下函式：
f(x) = sign(w · x + b)
稱為感知機，w、b為模型引數，w為權值或權值向量，b為偏置，w·x表示為二者內積。幾何上來說，w·x+b=0對應於特徵空間的乙個超平面，w是超平面的法向量，b是超平面的截距。也就是找到乙個超平面將資料的正負例項分開。
為了找出這樣的超平面，及確定感知機的模型引數，需要確定乙個學習策略，即定義損失函式並將損失函式最小化。、
損失函式選擇誤分類點到超平面s的總距離，所以首先寫出輸入空間中任一點x0到超平面的s的距離：
||w||是w的l2範數
其次，對於誤分類資料（xi，yi）來說， -yi(w·xi + b) > 0 成立，因此，誤分類點xi到超平面s的距離就可以寫成：
這樣，假設超平面s 的誤分類點集合為m. 那麼所有誤分類點到超平面s 的總距離為：
不考慮
其中m為誤分類點的集合，這個損失函式就是感知機學習的經驗風險函式。誤分類點越少，誤分類點離超平面越近，損失函式值就越小。
獲得了損失函式，下一步就是極小化這個損失函式，即：
具體的方法採用梯度下降演算法，極小化過程不是一次使m中所有的誤分類點的梯度下降，而是一次隨機選取乙個誤分類點使其梯度下降，假設誤分類點集合m是固定的，那麼損失函式l(w,b)的梯度由：
隨機選取乙個誤分類點（xi,yi）,對w,b進行更新：
η是學習率通過迭代可以期待損失函式l(w,b)不斷減小，直到為0，綜上可得如下演算法：
感知機學習演算法由於採用不同的初值或選取不同的誤分類點，解可以不同。
當訓練資料集線性可分時，感知機學習演算法是收斂的，感知機演算法在訓練資料集上的誤分類次數k滿足不等式：
統計學習方法 第2章 感知機
2019 june 29 感知機輸入空間 mathcal subseteq mathbf 輸出空間 mathcal 決策函式 f x operatorname w cdot x b operatorname x left end right.frac 歸一化超平面法向量，令其等於 1。原始形式 輸入...
《統計學習方法》2 感知機
感知機 perceptron 是二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面，為求得超平面匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化 最優化 感知機的學習演算法具有簡單而易...
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...