一 概述
k近鄰演算法的三個基本要素：k值的選擇、距離度量、分類決策規則
k-近鄰演算法（knn）:給定測試樣本，基於某種距離度量找出訓練集中與其最靠近的k個訓練樣本，然後基於這k個「鄰居」進行**。
下面通過乙個簡單的例子說明一下：如下圖，綠色圓要被決定賦予哪個類，是紅色三角形還是藍色四方形？如果k=3，由於紅色三角形所佔比例為2/3，綠色圓將被賦予紅色三角形那個類，如果k=5，由於藍色四方形比例為3/5，因此綠色圓被賦予藍色四方形類。
說明了knn演算法的結果很大程度取決於k的選擇。
度量距離一般使用歐氏距離或曼哈頓距離：
k近鄰演算法步驟：
對未知類別屬性的資料集的每個點依次執行以下操作
（1） 計算已知類別資料集中的點與當前點之間的距離；
（2） 按照距離遞增次序排序；
（3）選取與當前點距離最小的k個點；
（4）確定前k個點所在類別的出現頻率；
（5）返回前k個點所出現頻率最高的類別作為當前點的**分類
二 python**
根據打鬥鏡頭和接吻鏡頭判斷乙個新的電影所屬類別:
電影名稱
打鬥鏡頭
接吻鏡頭
電影型別
愛情片愛情片
動作片動作片
未知電影?
未知
# -*- coding: utf-8 -*-
'''created on sep 10, 2017
knn: k近鄰（k nearest neighbors） 電影分類
author：we-lee
'''import numpy as np
import matplotlib
import matplotlib.pyplot as plt
import operator
'''函式功能：建立資料集
input: 無
output: group：資料集
labels：類別標籤
'''def createdataset():#建立資料集
group = np.array([[3,104],[2,100],[99,5],[98,2]])
labels = ['愛情片','愛情片','動作片','動作片']
return group, labels
'''函式功能： knn分類
input: inx: 測試集 (1xn)
dataset: 已知資料的特徵(nxm)
labels: 已知資料的標籤或類別(1xm vector)
k: k近鄰演算法中的k
output: 測試樣本最可能所屬的標籤
'''def classify0(inx, dataset, labels, k):
datasetsize = dataset.shape[0] # shape[0]返回dataset的行數
diffmat = np.tile(inx, (datasetsize,1)) - dataset # tile(inx,(a,b))函式將inx重複a行，重複b列
sqdiffmat = diffmat**2 #作差後平方
sqdistances = sqdiffmat.sum(axis=1)#sum()求和函式，sum(0)每列所有元素相加，sum(1)每行所有元素相加
distances = sqdistances**0.5 #開平方，求歐式距離
sorteddistindicies = distances.argsort() #argsort函式返回的是陣列值從小到大的索引值
classcount={}
for i in range(k):
voteilabel = labels[sorteddistindicies[i]]#取出前k個距離對應的標籤
classcount[voteilabel] = classcount.get(voteilabel,0) + 1
#計算每個類別的樣本數。字典get()函式返回指定鍵的值，如果值不在字典中返回預設值0
sortedclasscount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=true)
#reverse降序排列字典
#python2版本中的iteritems()換成python3的items()
#key=operator.itemgetter(1)按照字典的值(value)進行排序
#key=operator.itemgetter(0)按照字典的鍵(key)進行排序
return sortedclasscount[0][0] #返回字典的第一條的key，也即是測試樣本所屬類別
'''函式功能： 主函式
'''
if __name__ == '__main__':
group,labels = createdataset()#建立資料集
print('group:\n',group)#列印資料集
print('labels:',labels)
zhfont = matplotlib.font_manager.fontproperties(fname=r'c:\windows\fonts\simsun.ttc')#設定中文字型路徑
fig = plt.figure(figsize=(10,8))#視覺化
ax = plt.subplot(111) #在第一行，第一列的第乙個位置
ax.scatter(group[0:2,0],group[0:2,1],color='red',s=50)
ax.scatter(group[2:4,0],group[2:4,1],color='blue',s=50)
ax.scatter(18,90,color='orange',s=50)
plt.annotate('which class?', xy=(18, 90), xytext=(3, 2),arrowprops=dict(facecolor='black', shrink=0.05),)
plt.xlabel('打鬥鏡頭',fontproperties=zhfont)
plt.ylabel('接吻鏡頭',fontproperties=zhfont)
plt.title('電影分類視覺化',fontproperties=zhfont)
plt.show()
testclass = classify0([18,90], group, labels, 3)#用未知的樣本來測試演算法
print('測試結果：',testclass)#列印測試結果
k 近鄰演算法
此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...
K 近鄰演算法
k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...
K 近鄰演算法
首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...