統計學習方法概論

統計學習(statistical learning)是關於計算機基於資料構建概率統計模型並利用模型進行分析與**的一門學科。統計學習也稱為統計機器學習(statistical machine learning)。

統計學習的主要特點是：

1. 統計學習以計算機和網路為平台。

2. 統計學習以資料為研究物件，是資料驅動的學科。

3. 統計學習的目的是對資料進行**和分析。

4. 統計學習以方法為中心，統計學習方法構建模型並利用模型進行**和分析。

5. 統計學習是概率論、統計學、資訊理論、計算理論、最優化理論及電腦科學等多個領域的交叉學科。

herbert simon 曾對「學習」給出以下定義：如果乙個系統能夠通過執行某個過程改進它的效能，這就是學習。按照這一觀點，統計學習就是計算機系統運用資料及統計方法提高系統效能的機器學習。

統計學習用於對資料進行**與分析，特別是對未知資料的**和分析。對資料的**與分析是通過概率統計模型來實現的。統計學習總的目標就是考慮學習什麼樣的模型和如何學習模型，以使模型能夠對資料進行準確的**與分析，同時也要考慮盡可能地提高學習效率。

統計學習由監督學習、非監督學習、半監督學習和強化學習等組成。

統計學習方法包括模型的假設空間、模型選擇的準則以及模型學習的演算法，稱其統計學習方法三要素，簡稱為模型、策略和演算法。

實現統計學習方法的步驟如下：

得到乙個有限的訓練資料集合；

確定包括所有可能模型的假設空間，即學習模型的集合；

確定模型選擇的準則，即學習的策略；

實現求解最優模型的演算法，即學習的演算法；

通過學習方法選擇最優模型；

利用學習的最優模型對新資料進行**和分析。