本系列筆記內容參考**為李航《統計學習方法》
感知機（perceptron）是二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別，取±1。感知機對應與輸入空間中將例項劃分為正負兩類的分離超平面，屬於判別模型。感知機學習旨在求出將訓練資料進行線性劃分的分離超平面，為此，匯入基於誤分類的損失函式，利用梯度下降法對損失函式進行極小化，求得感知機模型。感知機演算法具有簡單而易於實現的優點，分為原始形式和對偶形式，感知機**是用學習得到的感知機模型對新的輸入例項進行分類。
幾何解釋如下：
首先定義了資料集的線性可分性，簡單說即對乙個資料集，存在某一超平面可將資料集的正、負例項點完全劃分到超平面的兩側。
確定學習策略即定義（經驗）損失函式並將損失函式極小化。若選擇誤分類點的總數，這樣的損失函式不是引數ω、b的連續可導函式，不易優化。因此選擇誤分類點到超平面s的總距離。平面上一點x0到超平面的距離為：
對於誤分類點有-yi(ωxi+b)>0，則誤分類點到超平面的距離為
gram矩陣計算如下：
採用不同的初值或選取不同的誤分類點，得出的解可以不同。
此外，書中證明了原始形式演算法收斂，並且經過有限次迭代可得到乙個將訓練資料集完全劃分的分離超平面及感知機模型。
定理如下
統計學習方法（二） 感知機
學習目標 損失函式推導過程 最終優化函式 min l w,b 推導過程 假設空間 即特徵空間中的所有線性分類器。模型的複雜度主要體現在例項特徵向量的維度d上或者特徵數量上。1 用python 自程式設計實現感知機模型，對訓練資料集進行分類，並對比誤分類點選擇次序不同對最終結果的影響。可採用函式式程式...
統計學習方法二 感知機
一 什麼是感知機？感知機是二類分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取 1和 1二值。特性 1 二分類 2 線性分類模型 3 判別模型模型 4 假設空間 定義在特徵空間 有時可以理解為輸入空間 中的所有線性分類模型或線性分類器，即函式集合 4 學習目的 求出分離超平面二 感知...
統計學習方法筆記 感知機
感知機是二類分類的線性模型，其輸入為例項的特徵向量，輸出為例項的類別，取 1和 1二值，屬於判別模型。分為原始形式和對偶形式。是神經網路與支援向量機的基礎。由輸入空間到輸出空間的如下函式 f x sign w x b 稱為感知機.其中，w和b為感知機模型引數，sign是符號函式，即 感知機模型的假設...