k-nearest neighbor
可以用來解決分類問題與回歸問題
是一種判別式模型
三要素：k值的選擇、距離度量及分類決策規則。
基本思路：給定乙個訓練集合，當測試資料到來時，根據某種距離度量找到與其最鄰近的k個例項，這k個例項中的大多數屬於哪個類別，那麼測試資料就被歸類於哪個類別。
1.模型：關於特徵空間的乙個劃分。
距離度量：歐式距離，lp距離，馬氏距離。。。
k值選擇：k值過小，近似誤差會減小，估計誤差會增大，整體模型更加複雜，易於過擬合
k值過大，簡化模型但會使近似誤差增大，會忽略有用資訊
分類決策：多少表決（其理論實質是經驗風險最小化）
2.實現
kd樹目的：使得近鄰搜尋更快
實質：是一種優於線性掃瞄的儲存結構
通常做法是依次選取座標軸對空間切分，以中位數為切分點，也有的時候先統計資料在每個維度上的方差，取最大的方向切分
演算法分為構造kd樹，和搜尋kd樹兩部分
統計學習方法筆記 K近鄰法
看完了knn演算法，感覺演算法挺簡單的，選擇k的大小，距離計算公式，分類決策三個部分就行了，並且三個部分用的東西都挺常見，沒什麼難度。後面的提到了乙個改進演算法，搜尋空間kd演算法，這樣可以幫助我們很快的找到k個最近鄰，運用中位數縮小搜尋空間，省去了對大部分資料點的搜尋。思想不難 k近鄰法是一種基本...
統計學習方法 k近鄰法
k近鄰法 knn 是一種基本的分類與回歸方法 分類這種需求，滲透到我們生活的方方面面 分類演算法可以幫助我們完成這些繁瑣的操作，並根據我們的要求不斷修正分類結果。分類演算法其實蠻多的，這裡順著書本順序，詳細講解knn演算法，再與k means k means 演算法進行簡單對比。k近鄰法是這樣乙個過...
統計學習方法 K近鄰法
k近鄰演算法簡單 直觀給定乙個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的k個例項，這k個例項的多數屬於某個類，就把該輸入例項分為這個類.下面先敘述k近鄰演算法，然後再討論其細節。近鄰法的特殊情況 k 1情形，稱為最近鄰演算法.對於輸入的例項點 特徵向量 x xx,最近鄰法將訓練資...