感知機的思想是將所有的資料簡單地分成兩類，一類對應乙個輸出類別，例如是/否、正負、男女等。這要求感知機模型處理的資料集是線性可分的，即存在乙個超平面能夠將所有的資料分在超平面兩側，每側對應乙個輸出結果。
通過判斷測試點在超平面的哪一側，來**測試點屬於哪一類。每個樣本點的特徵向量為x =（x1，x2，... ，xj），則感知機的模型可以定義為符號函式，（a = w*x + b）運用感知機模型處理資料的主要工作是找到合適的引數w和b，使得w*x + b = 0 表示的超平面能夠將資料點全部分到兩側。
為了能夠衡量引數w，b的取不同值時模型的好壞，令所有誤分類點到超平面距離的總和作為損失函式。
已知輸入空間任意點x0到超平面距離公式：，則對於誤分類點，將上述公式去絕對值得：，
所以，損失函式l(w，b) =，（xi為誤分類點），對於所有的誤分類點來說，分母||w||為同乙個值，分子的值由乙個向量點乘與實數和組成，化簡該損失函式，消去分母（這麼解釋好像說不太過去，看完一遍回頭再說吧，記著點這個事），
得到化簡後的損失函式：l(w，b) = ，（xi為誤分類點）。該函式的性質如下：1. 函式是非負的，當沒有誤分類點時，函式值最小為0。 2. 給定訓練集後，損失函式關於w和b是連續可偏導的。
所以，可以採用隨機梯度下降法來求取引數w和b的值。至於隨機梯度下降的數學推導過程去查一下，不在此贅述。
已經從思想上知道如何通過損失函式最小化來確定感知機模型引數w和b，下面為演算法具體表現形式。
令w和b的初值為0.
隨機在訓練集中選取資料xi。
如果該點屬於誤分類點，即yi（w * xi + b）<= 0，更新引數：
w = w + η* yi * xi， b = b +η* yi
轉至步驟2，直至訓練集中不存在誤分類點。
過程用**、畫圖形式表示更清晰。
以三維向量假設空間為例，如下表為迭代引數變化表：
迭代次數
出錯點α1
α2
α3
b
此法簡單在於先求出n個樣本點的n×n矩陣，再利用列向量點乘迭代更新後的αi * yi向量。
如下圖：
統計學習方法筆記 感知機
感知機是二類分類的線性模型，其輸入為例項的特徵向量，輸出為例項的類別，取 1和 1二值，屬於判別模型。分為原始形式和對偶形式。是神經網路與支援向量機的基礎。由輸入空間到輸出空間的如下函式 f x sign w x b 稱為感知機.其中，w和b為感知機模型引數，sign是符號函式，即 感知機模型的假設...
統計學習方法之感知機模型
寫這篇部落格的時候，我頭暈腦脹的。晚上11點多，特別想睡覺，但是一種深深的負罪感把我從床上拉了起來。世界上最遙遠的距離，就是明明非常喜歡那張床，卻還得假裝絲毫沒有把它放在心上。為什麼要寫感知機呢？這麼乙個老古董。因為我正好看到了 統計學習方法 的那一課。欲生欲死 死不足惜 夕陽西下 夏天真的特別容易...
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...