本文節選自李航博士《統計學習方法》第一章第三節的內容。文中將統計學習方法簡單表示為如下公式。另外，後文中提及的內容主要是針對監督學習進行說明。
方法=模型 + 策略 + 演算法
監督學習過程中，模型就是所要學習的條件概率分布或決策函式(即訓練集到樣本集的對映函式)。其假設空間包括所有可能的條件概率分布或決策函式。
策略用於幫助從假設空間中選擇最優模型。此時引入損失函式和風險函式，前者是對衡量模型一側**的好壞，風險函式是度量平均意義下模型**的好壞。更直觀的講應該是度量**錯誤的程式。如以下常見的損失函式。
這樣最優模型就是期望風險的最小化，即
實際使用過程中，僅考慮樣本的影響容易造成「過擬合」現象，所以引出了結構風險最小化的概念。它是為了防止過擬合而提出的策略，結構風險最小化等價於正則化，結構風險在經驗風險上加上表示模型複雜度的正則化項或罰項。在假設空間、損失函式以及訓練集確定的情況下，結構風險的定義如下。
故最優模型轉換為求解最優化問題。
演算法指學習模型的具體計算方法。
所以，模型訓練的本質是基於訓練資料集，根據學習策略，從假設空間中選擇最優模型，最後考慮用什麼樣的計算方法求解最優模型。
參考文獻:
李航. 統計學習方法. 清華大學出版社, 2012
《統計學習方法》學習筆記（1） 統計學習三要素
目錄 1.1 統計學習 1.3 統計學習三要素 模型 策略 演算法 1.3.1 模型 所要學習的條件概率分布或決策函式 1.3.2 策略 1.3.2.1 損失函式 loss function 代價函式 cost function 1.3.2.2 風險函式 risk function 期望損失 exp...
統計學習三要素
統計學習三要素 李航博士在 統計學習方法 一書中這樣描述統計學習方法的構成 方法 模型 策略 演算法 本人更形象地借助產品經理的視角可以模擬這樣的 方法 設想 指標 方案 下面就具體學習這三個要素 三要素是巨集觀上處理問題的一種框架 模型 統計學習首先要考慮的問題是學習什麼樣的模型。以監督學習為例，...
統計學習 統計學習三要素
模型是所要學習的條件概率分布或者決策函式。統計學習的目的在於從假設空間中選取最優模型。故需要引入損失函式與風險函式。損失函式 衡量模型一次 的好壞。風險函式 衡量平均意義模型 的好壞。l y,f x begin 1,y neq f x 0,y f x end l y,f x y f x 2 l y,...