K 近鄰演算法

概述

k-近鄰演算法採用測量不同特徵值之間的距離方法進行分類。

一般流程

收集資料

準備資料

分析資料

訓練演算法 %此步驟不適用k-近鄰演算法

測試演算法

使用演算法

匯入資料集

from numpy import * #匯入科學計算包

import operator #匯入運算子模組
defcreatedataset
():    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
lables=['a','a','b','b']
return group,lables

def

file2mattrix
(filename):
#開啟檔案並得到檔案行數 
fr=open(filename)
arrayolines=fr.readlines()
numberoflines=len(arrayolines)
#建立返回的numpy矩陣 
##建立m行n列的零矩陣,存資料矩陣
returnmat=zeros((numberoflines,3))
classlablevector=#建立類標籤
index=0
#解析檔案資料到列表
for line in arrayolines:
#去除行的尾部的換行符
line=line.strip() 
#將一行資料按空進行分割
listfromline=line.split('\t') 
#將前三列資料存入將要返回的資料矩陣的對應行的前三列
returnmat[index,:]=listfromline[:3]
#最後一列為資料的分類標籤
index+=1
return returnmat,classlablevector

import matplotlib

import matplotlib.pyplot as plt

datingdatamat,datinglables=file2mattrix("datingtestset.txt")

fig=plt.figure()

ax=fig.add_subplot(111)#畫布分割
#x軸為資料矩陣第一列，y軸為資料矩陣第二列
ax.scatter(datingdatamat[:,1],datingdatamat[:,2])
plt.show()

準備資料：歸一化數值

歸一化數值一般就是將資料變換到0到1或者-1到1的範圍內，下面公式能將任意取值範圍的數值歸一化到0到1範圍內：

newvalue=(oldvalue-min)/(max-min)

其中max和min分別為資料集中最大特徵值和最小特徵值

def

autonorm
(dataset):
#取列的最大值最小值（引數0表示從列取而不是行）
minvals=dataset.min(0)
maxvals=dataset.max(0)
ranges=maxvals-minvals
normdataset=zeros(shape(dataset))
m=dataset.shape[0]
normdataset=dataset-tile(minvals,(m,1))
normdataset=normdataset/tile(ranges,(m,1))
return normdataset,ranges,minvals

def

classify0
(inx,dataset,lables,k):
# shape[0]獲取行 shape[1] 獲取列
datasetsize=dataset.shape[0]
#求歐氏距離
diffmat=tile(inx,(datasetsize,1))-dataset
sqdiffmat=diffmat**2
sqdistances=sqdiffmat.sum(axis=1)
distances=sqdistances**0.5
#公升序排列
sorteddistindicies=distances.argsort()
classcount={}
for i in range(k):
# 獲取類別 
voteilabel=labels[sorteddistindicies[i]]
#字典的get方法，查詢classcount中是否包含voteilabel，是則返回該值，不是則返回defvalue，這裡是0
# 其實這也就是計算k臨近點中出現的類別的頻率，以次數體現
classcount[voteilabel] = classcount.get(voteilabel,0) + 1
# 對字典中的類別出現次數進行排序，classcount中儲存的事 key-value，其中key就是label，value就是出現的次數
# 所以key=operator.itemgetter(1)選中的事value，也就是對次數進行排序
sortedclasscount = sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=true)
#sortedclasscount[0][0]也就是排序後的次數最大的那個label
return sortedclasscount[0][0]

def

datingclasstest
():    horatio=0.10
datingdatamat,datinglables=file2matix('')
normmat,ranges,minvals=autonorm(datingdatamat)
m=normmat.shape[0]
numtestvecs=int(m*horatio)
errorcount=0.0
for i in range(numtestvecs):
classifierresult=classify0(normmat[i,:],normmat[numtestvecs:m,:],\
,datinglables[numtestvecs:m],3)
print('the classfier came back with: %d, the real answer is: %d'%(classifierresult, datinglables[i]))
if(classifierresult!=datinglables[i]):
errorcount+=1.0
print('the total error rate is: %f'%(errorcount/float(numtestvecs)))

def

classfyperson
():    resultlist=['not at all','in small doses','in large doses']
percenttats=float(input('percentage of time spent playing vedio games?'))
ffmiles=float(input('frequent flier miles earned per year?'))
icecream=float(input('liters of ice cream consumed per year?'))
datingdatamat,datinglables=file2mattrix('')
normmat,ranges,minvals=autonorm(datingdatamat)
inarr=array([ffmiles,percenttats,icecream])
classifierresult=classify0((inarr-minvals)/ranges,normmat,datinglables,3)
print('you will probably like this person: ',    resultlist[classifierresult-1])

k 近鄰演算法

此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...

K 近鄰演算法

首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...