引入
我們需要一定的準則來評估不同機器學習模型的優劣，這就引申出損失函式和風險函式。
損失函式：評估模型單次**的好壞
風險函式：度量平均意義下模型的好壞
損失函式的定義
監督學習是在假設空間f
ff中選取模型f
ff作為決策函式，對於給定的輸入x
xx，由f(x
)f(x)
f(x)
給出相應的輸出y
yy，用損失函式來衡量**值f(x
)f(x)
f(x)
和真實值y
yy之間的差距，它是乙個非負實值函式，記作l(y
,f(x
))
l(y,f(x))
l(y,f(
x))。
常用的損失函式
1. 0-1損失函式
l (y
,f(x
))
=1, y!=f(x) \\ 0, y = f(x) \end
l(y,f(
x))=
(f)=e_p[l(y,f(x))]=\int_l(y,f(x))p(x,y)dxdy
rexp(
f)=e
p[l
(y,f
(x))
]=∫x
×yl
(y,f
(x))
p(x,
y)dx
dy這是理論上模`f(x
)f(x)
f(x)
關於聯合分布p(x
,y
)p(x,y)
p(x,y)
的平均意義下的損失，稱為風險函式（或者期望損失）。
風險函式與監督學習的關係
監督學習的目的就是選擇令期望風險最小化的模型，但是由於聯合分布p(x
,y
)p(x,y)
p(x,y)
未知，風險函式的值並不能直接計算，所以監督學習就稱為乙個病態問題（ill-formed problem）。
經驗風險損失
由於風險函式並不能直接計算，我們轉而求模型f(x
)f(x)
f(x)
在訓練資料集上的平均損失作為經驗風險損失，記作rem
pr_
remp。
r em
p(f)
=1n∑
i=1n
l(yi
,f(x
i)
)r_(f)=\frac\sum_^l(y_i,f(x_i))
remp(
f)=n
1i=
1∑n
l(yi
,f(
xi)
)
rex經驗風險最小化p(f)
r_(f)
rexp(
f)是模型f(x
)f(x)
f(x)
關於聯合分布的期望損失，rem
p(f)
r_(f)
remp(
f)是模型f(x
)f(x)
f(x)
在訓練集上的平均損失。根據大數定律，當樣本容量n
nn趨於無窮是，這兩個損失基本相等。但是現實中訓練樣本數量往往有限，從而用經驗風險估計期望風險往往並不理想，需要對經驗風險進行一定的矯正，這就涉及到監督學習的兩個基本策略：經驗風險最小化和結構風險最小化。
經驗風險最小化策略認為，經驗風險最小的模型就是最優的模型，即：
min f
∈f1n
∑i=1
nl(y
i,f(
xi))
\min_ \frac\sum_^l(y_i,f(x_i))
f∈fminn
1i=
1∑n
l(yi
,f(
xi)
)當樣本容量足夠大時，經驗風險最小化能保證具有較好的學習效果，在現實中也被廣泛採用。例如極大似然估計就是經驗風險最小化的乙個例子（在模型是條件概率分布，損失函式是對數損失函式時等價）。
結構風險最小化
當樣本容量較小時，經驗風險最小化的準則會導致過擬合問題的出現，結構風險最小化等價於正則化（也叫做罰項）。定義如下：
r sr
m=1n
l(yi
,f(x
i))+
λj(f
)r_=\fracl(y_i,f(x_i))+\lambda j(f)
rsrm=
n1l
(yi
,f(x
i))
+λj(
f)其中j (f
)j(f)
j(f)
為模型的複雜度，是定義在假設空間f
ff上的泛函。其中λ≥0
\lambda\geq0
λ≥0是係數，用於權衡經驗風險和模型複雜度對模型優劣的影響。
結構風險較小的模型往往對訓練資料以及未知的測試資料都有較好的**。例如貝葉斯估計中的最大後驗概率估計就是結構風險最小化的例子（在模型是條件概率分布，損失函式是對數損失概率且模型複雜度由模型的先驗概率表示時等價）。結論
監督學習的問題可以轉化為經驗風險或者結構風險函式的最優化問題，這時候經驗或者結構風險函式就是最優化的目標函式。
內容**
《統計學習方法》——李航
機器學習必知必會 交叉驗證
當我們根據資料訓練出乙個機器學習模型時，我們希望它在新的資料上也保持較高的準備率，這就需要我們對學習到的不同模型有乙個模型評估準則。為了評估模型的泛化效能 指模型在未知資料上的 能力 防止模型落入 過擬合 的陷進。我們人為地將原始資料劃分為訓練集和測試集，前者用於訓練模型，後者用於評估模型的泛化效能...
mysql必知必 SQL必知必會學習筆記 一
資料庫基礎 資料庫 資料庫軟體 確切的說，資料庫軟體應稱為資料庫管理系統 dbms 資料庫是通過dbms建立和操作的容器 資料庫相當於檔案櫃 容器 表相當於檔案 同乙個資料庫不能存在相同的表名，不同的資料庫可以存在相同的表名 主鍵應滿足的條件 唯一性非空性 not null 主鍵列中的值不允許修改或...
機器學習之 損失函式和風險函式
損失函式 監督學習問題是在假設的空間f中選取模型 f 作為決策函式，對於給定的輸入 x,由 f x 給定輸出y,這個輸出的 值與真實值 y可能不一致，用乙個函式來度量 錯誤的程度表示這種不一致，這個函式就是損失函式或者代價函式 通常的損失函式如下 損失函式值越小，模型越好 由於模式的輸入，輸出 x,...