感知機是二類分類的線性分類模型，屬於判別模型，輸入例項特徵向量，輸出例項的類別，取+1和-1。是神經網路與支援向量機的基礎。
$$f(x)=sign(w.x+b)$$
幾何解釋：
線性方程$w.x+b=0$對應特徵空間的乙個超平面s，位於超平面兩側的點被分為正類或負類，s稱為分離超平面。
假設資料集是線性可分的，即存在乙個超平面s能夠將資料集中的正負例項點完全正確的劃分到超平面的兩側。
感知機目標就是找出這個超平面；為了找到這樣的超平面，即確定感知機模型引數w，b，需要確定乙個學習策略，即定義（經驗）損失函式並將損失函式最小化。
損失函式選擇誤分類點到超平面s的總距離。
損失函式為：
$$l(w,b)=-\displaystyle\sum_y_i(w\cdot x_i+b)$$
假設超平面s的誤分類點集合為m。
推導過程如下：
某點到超平面s的距離為：$\frac|w\cdot x_0+b|$
對誤分類資料有：$-y_i(w\cdot x_i+b)>0$,因此誤分類資料到超平面的距離為:$-\fracy_i(w\cdot x_0+b)$
假設超平面s的誤分類點集合為m，那麼所有誤分類點到超平面s總距離為：$-\frac\displaystyle\sum_y_i(w\cdot x_i+b)$;不考慮$\frac$,就得到感知機學習的損失函式。
感知機學習問題轉化為求解損失函式最優化問題，採用隨機梯度下降，包括原始形式和對偶形式。
1.原始形式：
輸出：w，b 感知機模型:f(x)=w.x+b，$\eta(0
（1）w,b選初值$w_0,b_0$.
（2）訓練集選取資料$(x_i,y_i) $,
（3）若$y_i(w\cdot x_i+b)\leq 0$:
$w \leftarrow w+\eta y_ix_i$
$b \leftarrow b+\eta y_i$
（4）轉至2，直至訓練集中沒有誤分類點。
2.對偶形式
李航《統計學習方法》 感知機
這一章就講了感知機。我覺得是深受工業革命的影響，把一些可以實現功能的基本單元都喜歡叫做什麼機，這裡的感知機，還有後來的以感知機為基礎的支援向量機。直接看定義，看本質，實際上，感知機是一種線性分類模型。下面就以這句話為中心仔細闡述一下。什麼叫線性。線性liner，正如其名，兩個變數的關係的函式是一條直...
（李航統計學習方法）感知機Python實現
機器學習的三要素 模型，策略，演算法 模型 感知機是二分類線性分類模型，屬於判別模型。策略 基於誤分類點到超平面的總距離。學習演算法 略 感知機存在的問題 存在多解，解依賴於初始超平面的選擇以及迭代過程中誤分類點的選擇。訓練集線性不可分，演算法無法收斂，解決方法 pocket演算法或者使用核函式。無...
李航統計學習方法 感知機的實現
感知機 假設輸入空間是 rn,輸出空間是 1,1 輸入 x表示例項的特徵向量，對應於輸入空間的點 輸出y 表示例項的類別。由輸入空間到輸出空間的如下函式 f x sign wx b 稱為感知機。其中，w和b為感知機模型的引數，sign是符號函式，即 sign好像很簡單，當x大於等於0，sign輸出1...