更多關於k近鄰演算法
最大缺點：效率低下
如果訓練集有m個樣本，n個特徵，則**每乙個新的資料需要o(m*n)
優化方式：使用樹結構：kd-tree，ball-tree
缺點2：**結果高度資料相關
儘管理論上所有機器學習演算法都是資料相關的。但是k近鄰演算法**樣本中一旦有兩個錯誤的值，足以讓最終的**結果產生錯誤，哪怕在更高的範圍裡，在這個空間中有更多正確的樣本
缺點3：**結果不具有可解釋性
只是找到了和要**的樣本距離比較近的樣本，就說這個樣本屬於這個類別，但是該樣本為什麼屬於該類別根本無從知曉
缺點4：維數災難
隨著維度的增加，「看似相近」的兩個點之間的距離越來越大，k近鄰演算法非常依賴兩個點之間的距離
1維0到1的距離：1
2維（0，0）到（1，1）的距離：1.414
3維（0，0，0）到（1，1，1）的距離：1.73
64維（0，0，…0）到（1，1，…1）的距離：8
10000維
（0，0，…0）到（1，1，…1）的距離：100
解決方法：降維
機器學習流程回顧
k 近鄰演算法
此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...
K 近鄰演算法
k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...
K 近鄰演算法
首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...