K近鄰演算法核心函式詳解

#

用於分類的輸入測試樣本是inx，輸入的訓練樣本集為dataset，
#標籤向量為 labels ，最後的引數 k 表示用於選擇最近鄰居的數目，其中標籤向量的元素數目和矩陣 dataset 的行數相同。
defclassify0(inx,dataset,labels,k):
datasetsize = dataset.shape[0]    #
獲取 陣列 形狀的 第乙個 引數 a=[[1,2],[1,2],[1,2]]  a.shape = [3,2] a.shape[0] = 3
diffmat = tile(inx,(datasetsize,1)) - dataset    #
tile 代表了inx，複製為datasetsize行，1列的陣列
sqdiffmat = diffmat**2      #
平方    sqdistances = sqdiffmat.sum(axis = 1)       #
axis 等於 1 是將 矩陣的每一行 相加
distances = sqdistance**0.5       #
開方    sorteddistindicies = distances.argsort()      #
從小到大 排列
classcount ={}
for i in range(k):                       #
求出來 最低距離 的 labels結果，存放在classcount 中
voteilabel = labels[sorteddistindicies[i]]                         #
取出前k個元素的類別
classcount[voteilabel] = classcount.get(voteilabel,0)+1             #
存到字典裡面去
sortedclasscount =sorted(classcount.iteritems(),
key = operator.itemgetter(1),reverse =true)      #
用鍵來排序
return sortedclasscount[0][0]     #
取鍵

第一輪過後：classcount內開始有資料了

最終結果：

K 近鄰演算法（kNN）詳解

from numpy import import operator 匯入科學計算包numpy和運算子模組 def creatdataset 建立資料集 樣本點集 和標籤 group array 1.0,1.1 1.0,1.0 0,0 0,0.1 labels a a b b return group...

k 近鄰演算法

此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...