線性可分：在特徵空間中可以用乙個線性分介面正確無誤地分開兩 類樣本；採用增廣樣本向量，即存 在合適的增廣權向量 a 使得：
則稱樣本是線性可分的。如下圖中左圖線性可分，右圖不可分。所有滿足條件的權向量稱為解向量。權值空間中所有解向量組成的區域稱為解區。
通常對解區限制：引入餘量b，要求解向量滿足：
使解更可靠（推廣性更強），防止優化演算法收斂到解區的邊界。
對於權向量a，如果某個樣本yk被錯誤分類，則
其中yk是被a錯分的樣本集合。當且僅當jp(a*) = min jp(a) = 0 時，a*是解向量。這就是rosenblatt提出的感知器（perceptron）準則函式。
感知器準則函式的最小化可以使用梯度下降迭代演算法求解：
其中，k為迭代次數，η為調整的步長。即下一次迭代的權向量是把當前時刻的權向量向目標函式的負梯度方向調整乙個修正量。
因此，迭代修正的公式為：
即在每一步迭代時把錯分的樣本按照某個係數疊加到權向量上。
通常情況，一次將所有錯誤樣本進行修正不是效率最高的做法，更常用是每次只修正乙個樣本或一批樣本的固定增量法：
收斂性討論：可以證明，對於線性可分的樣本集，採用這種梯度下降的迭代演算法：
經過有限次修正後一定會收斂到乙個解向量。
理論結論：只要訓練樣本集是線性可分的，對於任意的初值 a(1) ，經過有限次疊代，演算法必定收斂。
感知器是最簡單可以「學習」的機器，可以解決線性可分的問題。當樣本線性不可分時，感知器演算法不會收斂。實際應用中直接使用感知器的場合並不多，但他是很多複雜演算法的基礎。
模式識別 多層感知器 MLP
由前面介紹看到，單個感知器能夠完成線性可分資料的分類問題，是一種最簡單的可以 學習 的機器。但他無法解決非線性問題。比如下圖中的xor問題 即 1,1 1,1 屬於同一類，而 1,1 1,1 屬於第二類的問題，不能由單個感知器正確分類。即在minsky和 t的專著 感知器 所分析的 感知器只能解決所...
李哈哈的模式識別筆記 part 3 感知器演算法
人類的思維具有整體性和邏輯性，機器的思維擅長重複性 解區域 線性判別函式解不唯一，而是位於乙個區域，稱為解區域。權向量w待定，偏移量w0待定。一般思路 這裡有必要重新認識一下線性判別函式的通式，可參照下圖 感知器模型 是一種最簡單的神經元模型，具有多個輸入和乙個輸出，各輸入加權求和，與閾值相比較，判...
模式識別1 線性分類器（感知機）
1.1 感知機演算法原理 首先明確，感知機的輸入和輸出，輸入就是一組向量，每個向量都有n個特徵值，輸出為每個向量的所屬類別，對於二分類而言，就是 1和 1.這個可以用sign函式來模擬 輸入空間到輸出空間的函式為 f x sign w x b 函式理解 w,b為感知機模型引數，w是乙個權重向量，b是...