理解極大似然估計和貝葉斯估計
1.概率（事件發生的概率，去估計事件出現的情況）
2.似然（通過事實，猜測事件最有可能發生的概率，這個概率表示成乙個引數）：似然函式推測引數的分布
最大似然估計就是求似然函式的極值
3.貝葉斯估計（認為存在先驗概率，求後驗概率）
經驗風險或者經驗損失：損失函式的平均值（理解為訓練集上的平均損失）
結構風險=經驗風險+r*模型複雜度（模型越複雜，模型複雜度越大）
當樣本容量較小時，僅僅使經驗風險最小化容易造成過擬合；為防止過擬合，可採用結構風險最小化
正則化：選擇經驗風險和模型複雜度同時小的模型，即正則化就是實現結構風險最小化
極大似然估計屬於經驗風險最小化，貝葉斯估計屬於結構風險最小化
監督學習分為生成學習和判別學習
生成學習先根據資料學習聯合概率，再得到條件概率；判別學習直接根據資料學習條件概率。生成學習的收斂速度快，判別學習的準確率高
樸素貝葉斯和隱馬爾科夫模型屬於生成學習；感知機，k近鄰和決策樹屬於判別學習
範數l0範數表示為向量中非零元素的個數；最稀疏的解表示為向量中零元素越多越好
l1範數表示向量中各元素絕對值的和
l2範數表示向量的模：各元素平方的和
線性回歸模型+l1正則化：lasso模型；線性回歸模型+l2正則化：ridge模型（嶺模型）
svm超平面：y(wx+b)=0
支援向量滿足：y(wx+b)=1
統計學習方法 1 統計學習方法概論
統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...
統計學習方法
這兩天翻了一下這本書，做個筆記，方便下次細看。本書主要講解統計學習中用到的監督學習。介紹了一些模型機器演算法。當參考書不錯，不怎麼適合死磕。第一章 主要介紹機器學習，統計學習的基本步驟，以及常用的表示方法。寫的比較系統，對於這個比較不熟悉的，可以好好看看。因為常用的模型就是這樣表示的，懂了這個看公式...
統計學習方法
第一章 方法概述 統計學習方法三要素 模型，策略，演算法 監督學習的重要問題 分類問題 classification 應用 銀行構建客戶分類模型，網路安全利用日誌資料對入侵檢測，影象處理檢測影象中是否有人臉，手寫識別識別分類手寫數字，網際網路搜尋網頁分類 二類分類評價指標 精確度，召回率，f1值 標...