最近在學習李航寫的統計學習方法概論， 每一章都用xmind理清了思路，括號裡是書裡的公式，第一次寫博文，敬請指教~~~~
第一章 統計學習方**
第二章 感知機
每個方法其實只需要著重掌握三要素和輸入輸出就可以了，主要看模型、策略和演算法。
感知機主要是二類分類的線性分類模型。
看到後面會注意感知機和支援向量機的區別。
第三章 k近鄰法
k近鄰算是入門級別的機器學習的方法了。我們在上機器學習課的時候，老師也介紹這是基礎的方法，主要核心思想是「物以類聚」，看訓練集中離該輸入最近的例項多數屬於什麼類別。
knn主要掌握三要素，k值的選擇、距離度量和分類決策規則。
注意在knn演算法實現的部分，有提到kd樹，平衡kd樹和kd數的搜尋的演算法都比較重要，有利於
knn的實現。
第四章 樸素貝葉斯法
學習樸素貝葉斯法之前，最好看一下貝葉斯定理。
樸素貝葉斯法的精髓在於後驗概率最大化，弄清後驗概率的含義。
第五章 決策樹
決策樹主要抓住三個步驟：特徵選擇、決策樹的生成和決策樹的修剪。
一般決策樹主要用於分類。
cart決策樹也叫分類與回歸決策樹，注意掌握生成時最優切分變數和切分點的演算法生成的思想。
統計學習方法概論 《統計學習方法》李航著
統計學習由 監督學習，非監督學習，半監督學習和強化學習組成。監督學習方法主要包括 分類 標註 與 回歸問題 回歸問題 輸入變數 和 輸出變數 均為連續變數的 問題 分類問題 輸出變數為有限個離散變數的 問題 標註問題 輸入與輸出變數均為變數序列的 問題 統計學習三要素 模型，策略，演算法 損失函式度...
（李航統計學習方法）提公升方法
本文主要包括adaboost和提公升樹，後期會擴充套件到xgboost和lightgbm。boosting通過改變樣本訓練權重，學習多個弱分類器，最後進行線性組合，提高分類效能。兩個著重點 如何改變資料的樣本權重或概率分布 如何將弱分類器整合成強分類器 初始化樣本資料權重，假設樣本權重均勻分布，得到...
李航統計學習方法筆記1 統計學習方法概論
模型 由輸入到輸出的對映 假設空間 由輸入空間到輸出空間的對映多集合 模型 由條件概率分布p y x 或決策函式y f x 表示 損失函式 度量模型一次 的好壞，用乙個損失函式來度量 錯誤的程度 風險函式 度量平局意義下模型 的好壞 經驗風險 模型f x關於訓練資料集的平均損失 當模型上條件概率分布...