前面提到，機器學習的目的就是根據一些訓練樣本
，尋找乙個最優的函式，使得函式對輸入
x的估計y'與實際輸出y之間的期望風險（可以暫時理解為誤差）最小化。期望風險最小化
依賴於樣本的輸入
x與其輸出
y之間的函式對映關係f(x,y)
，而這個對映關係，在機器視覺和模式識別系統中，一般指代先驗概率和類條件概率。然而，這兩者在實際的應用中，都是無法準確獲取的，唯一能夠利用的就只有訓練樣本的輸入
x及其對應的觀測輸出
y。而機器學習的目的又必須要求
使得期望風險最小化，從而得到需要的目標函式。不難想象，可以利用樣本的算術平均來代替式
理想的期望，於是就定義了下面的式子來作為實際的目標風險函式
求經驗風險來逐漸逼近
理想的期望風險的最小值，就是我們常說的經驗風險最小化（erm）原則。
顯然，利用經驗風險
來代替真實的期望風險
是有代價的。首先，經驗風險並不完全等於期望風險；其次，用經驗風險來近似代替期望風險在理論上並沒有完善的依據；最後，用經驗風險來代替期望風險計算得到的誤差屬於經驗誤差，而並非真實期望誤差；儘管有這樣那樣的問題存在，在先驗概率和類條件概率無法準確獲取的情況下，用經驗風險來「想當然」的代替期望風險從而解決模式識別等機器學習問題的思路在這一領域依然大量存在。
經驗風險最小化
前面提到，機器學習的目的就是根據一些訓練樣本 尋找乙個最優的函式，使得函式對輸入 x的估計y 與實際輸出y之間的期望風險 可以暫時理解為誤差 最小化。期望風險最小化 依賴於樣本的輸入 x與其輸出 y之間的函式對映關係f x,y 而這個對映關係，在機器視覺和模式識別系統中，一般指代先驗概率和類條件概率...
經驗風險最小化ERM
本篇與前面不同，主要內容不是演算法，而是機器學習的另一部分內容 學習理論。主要包括偏差 方差 bias variance 經驗風險最小化 empirical risk minization，erm 聯合界 union bound 一致收斂 uniform convergence ng對學習理論的重要...
結構風險最小化
損失函式和風險函式 監督學習問題是在假設空間中選取模型f作為決策函式，對於給定的輸入x，由f x 給出相應的輸出y，這個輸出的 值f x 與真實值y可能一致也可能不一致，用乙個損失函式或代價函式來度量 錯誤的程度。損失函式是f x 和y的非負實值函式，記作l y,f x 損失函式值越小，模型就越好。...