分類演算法之鄰近演算法 KNN（理論篇）

今天介紹另一種分類演算法，k鄰近演算法(k-nearest neighbors)，即 knn 演算法。

cover 和 hart 在 1968 年提出了最初的鄰近演算法，用於解決分類(classification)的問題。關於這個演算法在維基百科中也有介紹:

。knn是一種基於例項學習(instance-based learning)，或者所是將所有計算推遲到分類之後的惰性學習(lazy learning)的一種演算法，knn是所有機器學習演算法中最簡單演算法之一。

乙個有關電影分類的例子：

這個乙個根據打鬥次數和接吻次數作為特徵來進行型別的分類。最後一條的記錄就是待分類的資料。

knn這個分類過程比較簡單的乙個原因是它不需要建立模型，也不需要進行訓練，並且非常容易理解。把例子中打鬥次數和接吻次數看成是x軸和y軸，那麼就很容易能建立乙個二維座標，每條記錄都是座標中的點。對於未知點來說，尋找其最近的幾個點，哪種分類數較多，未知點就屬於哪一類。

knn演算法的思路是: 如果乙個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別。通常 k 的取值比較小，不會超過 20。

演算法步驟為：

關於距離的測量方式有多種，這裡只介紹兩種。

尤拉距離

這種測量方式就是簡單的平面幾何中兩點之間的直線距離。

並且這種方法可以延伸至三維或更多維的情況。它的公式可以總結為:

$$ d(x,y) = \sqrt^n(x_i-y_i)^2} $$

曼哈頓距離

顧名思義，城市街區的距離就不能是點和點的直線距離，而是街區的距離。如棋盤上也會使用曼哈頓距離的計算方法：

$$ d(x,y) = \sqrt^n|x_i-y_i|} $$

k值的選擇會影響結果，有乙個經典的圖如下:

圖中的資料集是良好的資料，即都打好了label，一類是藍色的正方形，一類是紅色的三角形，那個綠色的圓形是待分類的資料。

如何選擇乙個最佳的k值取決於資料。一般情況下，在分類時較大的 k 值能夠減小雜訊的影響，但會使類別之間的界限變得模糊。因此 k 的取值一般比較小 (k < 20)。

在下面一種情況中：

在點y的**中，改範圍內三角形分類數量佔優，因此將y點歸為三角形。但是從視覺上觀測，應該是分為圓形分類更為合理。根據這種情況就在距離測量中加上權重，比如1/d(d: 距離)。

優點：缺點：