學習教材採用清華大學李航
博士所著的《統計學習方法》
。一、統計學習方法三要素：模型，策略，演算法。
二、實現統計學習方法的步驟：
1、得到乙個有限的訓練資料集合；
2、確定包含所有可能的模型的假設空間，即學習模型的集合；
3、確定模型選擇的準則，即學習的策略；
4、實現求解最優模型的演算法，即學習的演算法；
5、通過學習方法選擇最優模型；
6、利用學習的最優模型對新資料進行**或分析。
三、統計學習包括：
監督學習
、非監督學習
、半監督學習
及強化學習
。監督學習：
輸入變數和輸入變數均為連續變數的**問題為
回歸問題
；輸出變數為有限個離散變數的**問題為
分類問題
；輸入變數和輸出變數均為變數序列的**問題稱為
標註問題
。統計學習假設資料存在一定的統計規律，x和y具有聯合概率分布的假設就是監督學習關於資料的基本假設。
方法=模型+策略+演算法
由決策函式表示的模型為
非概率模型
，由條件概率表示的模型為
概率模型
。損失函式（loss function，代價函式cost function）
：度量模型一次**的好壞；
風險函式
：度量平均意義下的模型**的好壞。
常用損失函式：
（1） 0-1損失函式；
（2） 平方損失函式；
（3） 絕對損失函式； （4）對數損失函式
經驗風險最小化
與結構風險最小化（正則化）
。結構風險在經驗風險上加上表示模型複雜度的正則化項（regularizer）或罰項(penalty term)
統計學習方法（一）
首先 李航 統計學習方法課後答案 正則化 min f f 1n i 1nl yi,f xi j f min frac sum n l y i,f x i lambda j f minf f n1 i 1 n l yi f x i j f 其中，第一項是經驗風險 loss 第二項是正則化項 0 lam...
統計學習方法 1 統計學習方法概論
統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...