--------來自李航 《統計學習方法》
1.感知機： 二類分類、線性分類模型、判別模型、輸出取+1、-1
f(x)=sign(w•x+b）2.損失函式：誤分類點到超平面的總距離
3.採用的最優化演算法是：隨機梯度下降法。
一次選取乙個誤分類點使其梯度下降，極小化損失函式；
4.（1）感知機學習演算法由於採用不同的初值或不同的誤分類點選擇順序，解可以不同；若要得到唯一解，需要對分離超平面增加約束。
（2）誤分類次數k是有上界的，即當訓練集線性可分時，感知機學習演算法原始形式的迭代是收斂的。
1.k近鄰法的特殊情況：k=1，最近鄰演算法；
2.k近鄰法三要素：
（1）k值的選擇：k小模型複雜，容易過擬合；k大模型簡單
k值一般取乙個較小的數值，通常用交叉驗證法選擇最優的k值
（2）距離度量：最常用歐式距離；
l1(曼哈頓距離)、l2(歐式距離)、l∞(是各個座標距離的最大值)
由不同的距離度量所確定的最近鄰點不同
（3）分類決策規則 ：往往是多數表決，等價於經驗風險最小化；
3.線性掃瞄，即挨個計算輸入例項與每個點間的距離，訓練集很大時不可行；
如何對訓練資料進行快速k近鄰搜尋：kd樹（二叉樹，對例項點進行儲存以便搜尋）
演算法： 構造平衡kd樹；
用kd樹的最近鄰搜尋； （kd樹搜尋平均計算複雜度：o(logn)）
感知機 統計學習方法
一 感知機適用問題以及它的輸入，輸出，求解方法 1 感知機 perceptron 適用於二類分類問題 該分類問題是線性可分問題 2 感知機模型是線性分類模型 3 感知機的幾何解釋，感知機對應的是乙個超平面 4 輸入 例項的特徵向量 5 輸出 例項的類別，取 1和 1二值 6 求解方法 有監督學習 給...
《統計學習方法》 感知機
最近終於有開始看 統計學習方法 了，畢竟無腦調參確實沒有什麼意義。一方面是作為看書的筆記，一方面作為比部落格或許能起到一點參考作用吧。希望可以日更。由輸入空間到輸出空間的函式 f x si gn w x b f x sign w cdot x b f x s ign w x b 稱為感知機。感知機是...
統計學習方法 k近鄰法
k近鄰法 knn 是一種基本的分類與回歸方法 分類這種需求，滲透到我們生活的方方面面 分類演算法可以幫助我們完成這些繁瑣的操作，並根據我們的要求不斷修正分類結果。分類演算法其實蠻多的，這裡順著書本順序，詳細講解knn演算法，再與k means k means 演算法進行簡單對比。k近鄰法是這樣乙個過...