**全是《機器學習》上的，只是將其整合到了一起，能夠執行手寫體識別。
內容大部分進行了注釋，可能有些注釋不夠精準或者不容理解，見諒！
from numpy import * #引入numpy用來構建資料型別
import operator #用來計算距離
datamat=array([[0.697,0.460],[0.774,0.376], [0.634,0.264],
[0.608,0.318],[0.556,0.215],[0.403,0.237],
[0.481,0.149],[0.666,0.091],[0.243,0.267],
[0.245,0.057],[0.343,0.099],[0.639,0.161],
[0.657,0.198],[0.360,0.370],[0.593,0.042],
[0.719,0.103]]) #準備訓練資料
def classify0(inx, dataset, labels, k): #k臨近距離計算，並且輸出頻率最大的數
datasetsize = dataset.shape[0] #統計資料的行數
diffmat = tile(inx, (datasetsize,1)) - dataset #計算被測資料與訓練資料的差
sqdiffmat = diffmat2 #平方
sqdistances = sqdiffmat.sum(axis=1) #求和
distances = sqdistances0.5 #開方求距離
sorteddistindicies = distances.argsort() #給距離排序，返回他們的索引
classcount={} #建立乙個字典
for i in range(k): #遍歷前k個數
voteilabel = labels[sorteddistindicies[i]] #返回第k索引的標籤
classcount[voteilabel] = classcount.get(voteilabel,0) + 1 #統計該標籤的個數
sortedclasscount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=true) #將標籤個數按照降序排序
return sortedclasscount[0][0]
ifname==『main』:
labels=[『是』,『是』,『是』,『是』,『是』,『是』,『是』,『否』,『否』,『否』,『否』,『否』,『否』,『否』,『否』,『否』,]
inx=[0.437 ,0.211]
k=int(input(「請輸入k值：」))
ccc=classify0(inx,datamat,labels,k) #呼叫函式
print(ccc) #輸出標籤結果
k的取值範圍1-16，都可以，建議1-6.
k 近鄰演算法
此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...
走進K近鄰
k最近鄰 k nearest neighbour，knn 分類演算法的思路是 如果乙個樣本在特徵空間中的k個最相似 即特徵空間中最鄰近 的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別。k近鄰演算法的想法很簡單，類似於多數表決，關鍵點是參與多數表決的人是離你最近的k個人。給定乙個例項，首先從訓...
K 近鄰演算法
k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...