感知機（perceptron）作為機器學習中最最基本也是最最簡單的乙個模型，其重要性不言而喻。首先感知機是乙個二分類的線性模型，二分類表示輸出結果只有兩個，一般用y=表示，+1表示正例，-1表示負例；線性則表示可以用乙個分離超平面將輸入空間的例項劃分為兩類，投影到二維空間即表示用一條直線將輸入樣本進行劃分，如圖：
其中紅色即我們所要求的感知機模型，為一條直線。
感知機模型定義的輸入空間到輸出空間的函式為：
其中x表示輸入特徵，w表示權重，b表示偏值，sign函式為：
也就是說，當大於等於0時，感知機將x判別為+1類，當小於0時，判別為-1類。由此可見，感知機其實就是找到乙個合適的w與b，使得輸入x後通過sign函式能夠將其正確劃分。因此我們的目的就是找到乙個正確的分離超平面。（因為現實中輸入大多數是多維的）
應用中，我們先隨機初始化w與b，然後根據損失函式進行優化，最後得到感知機模型。感知機的損失函式考慮的是誤分類點到分離超平面的總距離，意思就是說我們有乙個還未訓練好的超平面，首先找出誤分類點，然後計算這些所有誤分類點到超平面的距離，如圖所示：
其中紅色樣本表示誤分類點，藍色直線表示分離超平面，1,2,3,4,5,6分別表示誤分類點到超平面的距離，我們要做的就是將這6個距離求和加起來。
其中分離超平面為：
點到平面的距離公式為：
其中xi為空間中的點，為w的l2範數。
現在考慮誤分類點到平面的距離，對於誤分類點，當時w.x+b>0時，感知機將其判別為-1類，即y= -1;反之當<0時，判別為+1類,即y=1。因此誤分類點在距離公式中|w.x+b|，可表示為 -y(w.x+b)，（y始終等於1或者-1，且對於誤分類點來說，始終成立），則某乙個誤分類點到平面的距離為：
所有的誤分類點到平面的距離為：
m為誤分類點集合，||w||因為為常數，可以不考慮，去掉後就得到了感知機的損失函式:
當誤分類點越少，這個距離就越小，因此我們的目標就變成最小化該損失函式。優化過程為隨機選取乙個誤分類點（乙個！）, 利用梯度下降法更新w與b：
其中ƛ為學習率，不停如此迭代就可以最小化損失函式。
值得注意一點的是感知機對w，b以及ƛ的初始值敏感，不同初始值優化後可能對應不同的最優分離超平面，因此感知機的解不是唯一固定的，如果加上一些約束條件，即可得到唯一超平面，這就是線性svm的思考方法。以後總結。
機器學習 感知機
感知機是一種簡單的二類分類的線性分類模型，用於處理可以線性可分的二分類問題。感知機對應於輸入空間 特徵空間 中將例項劃分為正負兩類的分離超平面，屬於判別模型。模型。從輸入空間到輸出空間有如下函式 f x s ign wtx b 其中w 為權值，b為偏執。生成的超平面為 wt x b 0 其中w 為超...
機器學習 感知機
r nx rn 輸出空間為y 輸入x x x x表示例項的特徵向量，對應於輸入空間的點 輸出y y表示示例的類別。由輸入空間到輸出空間的函式為 x si gn w x b f x sign w x b x w x表示w和x的點積i 1mwi xi w 1x1 w2x2 wnx n i 1mwixi ...
機器學習 感知機
1 感知機是二分類的線性模型，輸入空間是例項的特徵向量，輸出是例項的類別 1，1 屬於判別模型。2 假設資料線性可分，感知機的學習目標是求得乙個能夠將訓練集資料正例和負例完全分開的分離超平面，如果訓練資料線性不可分，那麼就無法獲得這個超平面 抑或問題 針對抑或問題，解決方法是多層感知機組合。3 輸入...