一、什麼是感知機？
感知機是二類分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1二值。
特性：（1）二分類
（2）線性分類模型
（3）判別模型模型
（4）假設空間：定義在特徵空間（有時可以理解為輸入空間）中的所有線性分類模型或線性分類器，即函式集合
（4）學習目的：求出分離超平面
決策函式：f(x)=sign(w·x + b) —— 這個函式就稱為感知機
（1）w·x+b=0 : 對應於特徵空間中的乙個超平面s
（2）w：權值向量，感知機引數，超平面的法向量
（3）b：偏置（bias），感知機引數，超平面的截距
（4）sign：符號函式，x>=0為+1，x<0為-1
前情回顧...orz...
還記得什麼是學習策略嗎？——我是為了提醒我自己...orz...
之前的部落格有闡述，所謂的學習策略就是從假設空間中選出乙個模型，這個模型怎麼選，就是要損失最小的那個，最後歸結為了經驗風險或者結構風險最優化的問題...
感知機的學習策略？
找到乙個能夠將訓練集正負例項點完全正確分開的分離超平面，即確定感知機模型的引數w,b,那如何確定呢？
—— 定義損失函式，並將損失函式最小化
損失函式的選擇？
損失函式：誤分類點到超平面的距離|w·x+b| ——> -y(w·x+b)
經驗風險函式：誤分類點到超平面的總距離
前情回顧...
什麼是學習演算法？
模型和學習策略是關注如何選擇最優模型，演算法是關注如何求解這個最優模型，即怎麼求風險的最優解
感知機的學習演算法？
梯度下降法
1、學習演算法原始形式：
（1）選取w、b的初始值
（2）選取乙個被誤分類的例項點，調整w,b的值，使分離超平面向該誤分類點的一側移動，以減少該誤分類點與超平面的距離
（3）重複步驟（2）
（4）直至訓練集中沒有被誤分類的點
注：根據初始值或者誤分類點選取的不同，最後求得的分離超平面可能不同
2、演算法的收斂性
可收斂：經過有限次迭代可以得到乙個將訓練資料集完全正確劃分的分離超平面及感知機模型
定理表明：
（1）當訓練資料集線性可分時，感知機學習演算法原始形式迭代是收斂的
（2）當訓練資料集線性不可分時，感知機學習演算法不收斂，迭代結果會發生**
補充說明：
（1）資料集線性可分：存在乙個超平面，可以將資料集所有點完全正確的劃分到兩側
（2）對於線性可分資料集，學習演算法存在許多解，取決於初始值選擇，也依賴迭代過程中誤分類點的選擇順序
（3）如何得到唯一的超平面？——增加約束條件——svm
3、學習演算法的對偶形式
將w和b用例項x和標記y表示，求解
與原始形式一樣，演算法收斂且有多個解
統計學習方法（二） 感知機
學習目標 損失函式推導過程 最終優化函式 min l w,b 推導過程 假設空間 即特徵空間中的所有線性分類器。模型的複雜度主要體現在例項特徵向量的維度d上或者特徵數量上。1 用python 自程式設計實現感知機模型，對訓練資料集進行分類，並對比誤分類點選擇次序不同對最終結果的影響。可採用函式式程式...
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...
《統計學習方法》 感知機
最近終於有開始看 統計學習方法 了，畢竟無腦調參確實沒有什麼意義。一方面是作為看書的筆記，一方面作為比部落格或許能起到一點參考作用吧。希望可以日更。由輸入空間到輸出空間的函式 f x si gn w x b f x sign w cdot x b f x s ign w x b 稱為感知機。感知機是...