說點沒用的：前段時間一直在忙畢業**的事情，時間比較緊湊，這幾天閒下來了，blog還是要撿起來加油寫的，加油吧，為不要成為中年失業者而奮鬥！
1、k近鄰的輸入為例項的特徵向量，對應特徵空間中的點，輸出為例項的類別（可以取多類）。
2、k近鄰演算法的通過周圍的多個點，通過多數表決的方法進行**，因此k近鄰演算法不擁有顯式的學習過程。
3、k值的選擇，距離度量及分類決策規則是k近鄰演算法的三個基本要素。
4、距離度量：一般情況下用
設特徵空間x是n維實數向量空間
當p=1時，距離為曼哈頓距離；當p=2時，距離為歐氏距離；當p=∞的時候，他是各個座標距離的最大值
5、k值的選取問題，k如果過小會造成過擬合，k過大會造成莫模型整體變得簡單，**效果差，確定k的方法一般情況下選取乙個較小的k值，然後採取交叉驗證法選取最優的k值。
6、k近鄰演算法的分類規則往往是多數表決，即由輸入的例項的k個臨近點的多數類決定輸入點的類別。多數表決規則等於經驗風險化。
7、k近鄰演算法實現需要考慮如何快速搜尋k個最近鄰點，這裡使用的是kd樹，可以大幅縮短搜尋速度。
李航統計學習方法筆記1 統計學習方法概論
模型 由輸入到輸出的對映 假設空間 由輸入空間到輸出空間的對映多集合 模型 由條件概率分布p y x 或決策函式y f x 表示 損失函式 度量模型一次 的好壞，用乙個損失函式來度量 錯誤的程度 風險函式 度量平局意義下模型 的好壞 經驗風險 模型f x關於訓練資料集的平均損失 當模型上條件概率分布...
李航 統計學習方法 筆記 1 統計學習方法概論
統計學習由監督學習 非監督學習 半監督學習和強化學習等組成，本書主要討論監督學習。監督學習的任務是學習乙個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出乙個好的 方法 模型 策略 演算法 在監督學習過程中，模型就是所要學習的條件概率分布或決策函式。策略即從假設空間中選取引數最優模型，模型的分類...
《統計學習方法》李航學習筆記心得
最近開始學習這本書，初看感覺有些難度，主要想記錄一些重點知識和一些難的點進行詳細理解。1.3 統計學習方法三要素 1.3.1 模型 1.3.2 策略 1.3.3 演算法 1.4 模型評估與模型選擇 1.5 正則化與交叉驗證 1.6 泛化能力 1.7 生成模型和判別模型 本書所介紹統計學習 stati...