k近鄰演算法(K Nearest Neighbor)

2021-08-09 06:43:33 字數 1793 閱讀 6438

k近鄰是一種常用的分類與回歸演算法,其原理比較簡單

基本思想

給定乙個訓練資料集,其中的例項的類別已定,對於新的例項,根據其k個距離最短的訓練例項的類別出現的頻率,對新的例項進行**。

距離計算

歐式距離

曼哈頓距離

k的取值

k值的選擇對k近鄰法的結果產生重大影響

k值較小,近似誤差會減小,估計誤差會增大,意味著整體模型變得複雜,產生過擬合。

k值較大,近似誤差會增大,估計誤差會減少,模型簡單,容易是**發生錯誤。

實際應用中,k值一般取乙個比較小的值,在採用交叉驗證來逐步調整k值,最終選擇適合該樣本的最優的k值。

knn演算法實現

演算法基本步驟:

1)計算待分類點與已知類別的點之間的距離

2)按照距離遞增次序排序

3)選取與待分類點距離最小的k個點

4)確定前k個點所在類別的出現次數

5)返回前k個點出現次數最高的類別作為待分類點的**分類

code

#knn.py

from numpy import *

import operator

defcreatedataset

(): group = array([[1.0, 1.1, 1.2], [1.2, 1.0, 1.1], [1.1, 1.2, 1.0], [0.1, 0.5, 0.7], [0.2, 0,1, 0.3], [2.1, 2.0, 2.1]])

labels = ["aaa", "aaa", "bbb", "bbb", "ccc"]

return group,labels

defclassfity

(samplex, dataset, labels, k):

datasetsize = len(dataset)

diffmat = tile(samplex, (datasetsize, 1)) - dataset

sqdiffmat = diffmat ** 2

sqdistances = sqdiffmat.sum(axis =1)

distances = sqdistances ** 0.5

sorteddistindicies = distances.argsorts()

classcount = {}

for i in range(k):

voteilabel = labels[sorteddistindicies[i]]

classcount[voteilabel] = classcount.get(voteilabel, 0) + 1

sortedclasscount = sorted(classcount.items(), key = operator.itemgetter(1), reverse = true)

return sortedclasscount[0][0]

參考:

《統計學習方法》 李航

k 近鄰演算法

此文章參考機器學習實戰一書,具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習,將學過的知識加以整理,其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合,也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合,也稱作訓練樣本集,並且樣本集中每個資料都存在標籤,即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...

K 近鄰演算法

首先,我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次,討論當存在許多資料 的時,如何避免計算距離時可能碰到的一些常見錯誤 最後,利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合,也稱作訓練樣本集,並且...