一、感知機適用問題以及它的輸入，輸出，求解方法
（1）感知機(perceptron)適用於二類分類問題（該分類問題是線性可分問題）
（2）感知機模型是線性分類模型
（3）感知機的幾何解釋，感知機對應的是乙個超平面
（4）輸入：例項的特徵向量
（5）輸出：例項的類別，取+1和-1二值
（6）求解方法(有監督學習)：給定n個已知分類類別的例項；設定引數初始值，在損失函式上應用隨機梯度下降演算法，迭代k（有限）次更新引數；求得最終的引數。
（7）損失函式：
自然選擇——誤分類的例項數。該損失函式中不含有引數w,b，也就不可能是引數w,b的連續可導函式，更新引數w,b困難。
另一種選擇——誤分類點到超平面（由感知機對應）的總距離。該損失函式是w,b的連續可導函式，可用隨機梯度下降法更新引數w,b。
為什麼不考慮
感知機的目的是找到乙個可以將資料集完全正確分開的分離超平面，找到乙個就可以（對於不同的引數初始化以及不同的選擇的例項順序，得到的結果會不同），感知機不要求找到最好的那個解。
我們再來看下完整的損失函式表示式
如果不考慮
二、感知機求解的原始形式和對偶形式
（1）原始形式
感知機學習的基本演算法
（2）對偶形式
感知機學習的另一種演算法
三、感知機演算法的收斂證明
也就是證明在有限次的迭代中，可以將線性可分的資料集完全分開，不會無限制的迭代。
也就是證明將線性可分的資料集完全分開所進行的迭代次數k有乙個上界。
如果能找出這個上界存在，即可證明演算法的收斂性。
證明如下：（碼公式真的是hin辛苦啊~~~~~）
《統計學習方法》 感知機
最近終於有開始看 統計學習方法 了，畢竟無腦調參確實沒有什麼意義。一方面是作為看書的筆記，一方面作為比部落格或許能起到一點參考作用吧。希望可以日更。由輸入空間到輸出空間的函式 f x si gn w x b f x sign w cdot x b f x s ign w x b 稱為感知機。感知機是...
統計學習方法之感知機
在翻閱知乎時，得知李航所著的 統計學習方法 一書，於是就買了一本，看到csdn上已有大牛都發了相關的部落格，再次贅述就顯得囉嗦了，就直接上乾貨吧，自己用matlab寫的 和一些自己再看書時的小小的理解。感知機是一種二類分類的線性模型模型，是乙個將輸入空間 特徵空間 分成正負兩類的分離超平面。它的更多...
統計學習方法（三） 感知機
定性 是一種二類分類的線性模型，屬於判別模型 即從資料中直接學習得到的模型 旨在求出將訓練資料進行線性劃分的分離超平面。求得感知機模型的方法思路 利用梯度下降法對基於誤分類點的損失函式進行極小化。下面分別從模型，策略，演算法三個方面展開描述 1.模型 定義 f x sign w x b 其中x是特徵...