引用部落格：
1. kd樹的構建：《統計學習方法》第三章
2. kd樹的最臨近搜尋方法：
樹的效果顯示為：
在k-d樹中進行資料的查詢也是特徵匹配的重要環節，其目的是檢索在k-d樹中與查詢點距離最近的資料點。這裡先以乙個簡單的例項來描述最鄰近查詢的基本思路。
星號表示要查詢的點（2.1,3.1）。通過二叉搜尋，順著搜尋路徑很快就能找到最鄰近的近似點，也就是葉子節點（2,3）。而找到的葉子節點並不一定就是最鄰近的，最鄰近肯定距離查詢點更近，應該位於以查詢點為圓心且通過葉子節點的圓域內。為了找到真正的最近鄰，還需要進行'回溯'操作：演算法沿搜尋路徑反向查詢是否有距離查詢點更近的資料點。此例中先從（7,2）點開始進行二叉查詢，然後到達（5,4），最後到達（2,3），此時搜尋路徑中的節點為，首先以（2,3）作為當前最近鄰點，計算其到查詢點（2.1,3.1）的距離為0.1414，然後回溯到其父節點（5,4），並判斷在該父節點的其他子節點空間中是否有距離查詢點更近的資料點。以（2.1,3.1）為圓心，以0.1414為半徑畫圓，如圖4所示。發現該圓並不和超平面y = 4交割，因此不用進入（5,4）節點右子空間中去搜尋。
再回溯到（7,2），以（2.1,3.1）為圓心，以0.1414為半徑的圓更不會與x = 7超平面交割，因此不用進入（7,2）右子空間進行查詢。至此，搜尋路徑中的節點已經全部回溯完，結束整個搜尋，返回最近鄰點（2,3），最近距離為0.1414。
乙個複雜點了例子如查詢點為（2，4.5）。同樣先進行二叉查詢，先從（7,2）查詢到（5,4）節點，在進行查詢時是由y = 4為分割超平面的，由於查詢點為y值為4.5，因此進入右子空間查詢到（4,7），形成搜尋路徑，取（4,7）為當前最近鄰點，計算其與目標查詢點的距離為3.202。然後回溯到（5,4），計算其與查詢點之間的距離為3.041。以（2，4.5）為圓心，以3.041為半徑作圓，如圖5所示。可見該圓和y = 4超平面交割，所以需要進入（5,4）左子空間進行查詢。此時需將（2,3）節點加入搜尋路徑中得。回溯至（2,3）葉子節點，（2,3）距離（2,4.5）比（5,4）要近，所以最近鄰點更新為（2，3），最近距離更新為1.5。回溯至（7,2），以（2,4.5）為圓心1.5為半徑作圓，並不和x = 7分割超平面交割，如圖6所示。至此，搜尋路徑回溯完。返回最近鄰點（2,3），最近距離1.5。
機器學習系列之 Knn演算法 kd樹詳解
關於knn演算法，對特徵空間進行劃分的方法為計算新的輸入例項與訓練例項之間的距離，因為在特徵空間中2個特徵例項的相似程度可以用距離來表示。一般我們採用的是歐式距離，也就是說每個新的輸入例項都需要與所有的訓練例項計算一次距離並排序。當訓練集非常大的時候，計算就非常耗時 耗記憶體，導致演算法的效率降低。...
KNN演算法和KD樹
knn k nearestneighbor 鄰近演算法，或者說k最近鄰分類演算法 是資料探勘分類技術中最簡單的方法之一。所謂k最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。knn演算法的核心思想是如果乙個樣本在特徵空間中的k個最相鄰的樣本中的大多數屬於某乙個類別，...
KNN演算法的KD樹C 實現
kd樹本質上是一種二叉樹，它擁有具備特定排列順序的 節點以便查詢資料，即在二叉排序樹之中，某個 節點左子樹的值均小於 節點的值，而右側均大於 節點的值，如果用中序遍歷這棵樹，它的列印順序將是從小到大遞增的順序。當然剩下的科普就不說了，這也是在pcl庫當中，最常用的輪子之一，處理點雲速度非常快。另外，...