參照圖3.1，在二位空間中給出例項點，畫出k為1和2時的k近鄰法構成的空間劃分，並對其進行比較，體會k值選擇與模型複雜度及**準確率的關係
假設三個點(2,3),(5,4),(4,2)，對應類別分別0,1,1，用綠色和黃色表示0和1。
假設k=1：
在紅色的線上，每一點到(2,3)和(5,4)的距離相等，藍色的線上每一點到(2,3)和(4,2)的距離相等，因此兩線交點以左的空間屬於0類，剩餘部分是1類。
假設k=3（k=2會出現平票），則所有空間都屬於1類。
通過比較可以發現，更小的k會使模型更複雜，準確率更高（不發生過擬合的情況下），更大的k則反之。
利用例題3.2構造的kd樹求點x=(3,4.5)t的最近近鄰點
從樹根往下搜尋到葉節點(4,7)，與x歐式距離為2.69;
退回到節點(5,4)，x點與之距離為2.06，更新最近節點為(5,4);
（5,4）節點x1軸到x點的距離為2，小於2.06，往另乙個子節點處搜尋;
（5,4）與（2,3）的的距離為1.8，更新最近點為（2,3）;
回退到根節點（4,7），與根節點距離為4.72;
（4,7）節點x2軸與x距離為2.5，大於1.8，不搜尋另一邊子節點處。
返回最近點（2,3）。
輸入：已構造的kd樹，目標點x
輸出：x的k近鄰
（1）：在kd樹中找出包含點x 的葉節點：從根節點出發，遞迴向下訪問kd樹。若目標點x當前維度的座標小於切分點的租表，則移動到左子節點，否則移動到右子節點。直到子節點為葉節點為止。
（2）：將此節點新增到長度為k的列表l中。
（3）：地櫃地向上回退，在每個節點進行以下操作：
（a）：計算到該節點距離，當l的長度（b）：檢查另一子節點對應區域，當l的長度（4）：對根節點完成操作（3）後，搜尋結束，返回l。
統計學習方法第三章
kd樹的最近鄰搜尋 輸入 已構造的kd樹 目標點xx 輸出 xx的最近鄰。1 在kd樹中找出包含目標點xx的葉結點 從根結點出發，遞迴的向下訪問kd樹。若目標點當前維的座標值小於切分點的座標值，則移動到左子結點，否則移動到右子結點。直到子結點為葉結點為止 2 以此葉結點為 當前最近點 3 遞迴的向上...
統計學習方法（第三章）k近鄰演算法
k近鄰演算法 knn是通過測量不同特徵值之間的距離進行分類。它的的思路是 如果乙個樣本在特徵空間中的k個最相似 即特徵空間中最鄰近 的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別。k通常是不大於20的整數。knn演算法中，所選擇的鄰居都是已經正確分類的物件。該方法在定類決策上只依據最鄰近的乙...
統計學習方法 第三章 k近鄰法
k近鄰法是一種基本的分類與回歸方法，這裡只討論分類問題中的k近鄰法。演算法描述 首先給定乙個訓練集，對於待分類的輸入資料，在訓練集中找到與該輸入資料最鄰近的k個樣本，這k個樣本中哪個類別最多，就把待分類資料分給這個類。k近鄰法沒有顯式的學習過程。k近鄰法的三個基本要素 當這三個要素確定後，任何乙個新...