class
content
layout
post
title
詳解機器學習中的損失函式
categories
blog
description
機器學習中常見的損失函式以及它們的特點和適用場景
keywords
機器學習 損失函式 風險函式
1. 前言
我們知道機器學習的三要素是:方法= 模型+策略+演算法, 如何從假設空間中選擇最優模型,這涉及到我們需要用什麼樣的準則進行學習,這就是三要素中的」策略」問題。
在假設空間中選擇模型y(
xn,w
) y(x
n,w)
作為決策函式,給定輸入xn
x
n,由模型得到輸出y(
xn,w
) y(x
n,w)
,而**的y(
xn,w
) y(x
n,w)
與真實值tn
t
n之間可能不一致,如圖1-1 可以看出**值y(
xn,w
) y(x
n,w)
與真實值tn
t
n存在不一致情況,他們之間的差的絕對值為|y
(xn,
w)−t
n|| y(
xn,w
)−tn
|為綠色線部分, 而損失函式是定義在單個樣本上的，算的是乙個樣本的誤差。因此選用損失函式來度量**誤差。
損失函式（loss function）是用來度量模型的**值與真實值的不一致程度，是乙個非負實值函式,損失函式越小，**正確程度越高，表示為：l(
yi,f
(xi)
) l(y
i,f(
xi))
在樣本足夠的情況下,經驗風險最小化可以達到很好的學習效果,但是樣本容量有限時,容易產生過擬合現象,所以在才有上面結構風險最小化求最優模型的策略.
2. 區別損失函式\ 風險函式\ 代價函式\ 目標函式
note：
- a.通常，我們沒有細分損失函式和代價函式，經常將兩個概念混用。
- b.由於p(
y,x)
p (y
,x)未知，所以風險函式無法計算，經驗風險re
mp(f
) rem
p(f)
是模型關於訓練集的平均損失，根據大數定律，當樣本容量
n n
趨於無窮時，經驗風險re
mp(f
)' role="presentation">rem
p(f)
remp
(f)趨於風險函式re
xp(f
) rex
p(f)
，這也說明了訓練集容量越大，選擇的最優模型越逼近真實模型。
3. 常見的損失函式
總結看了很多資料和網頁，結合自己的理解寫出了這一篇部落格，以前只知道有這些損失函式，並沒有**過損失函式的適用性以及該如何去推導這些公式。繼續加油o(∩_∩)o~~
如有問題聯絡[email protected]
詳解機器學習中的損失函式
0.687 2018.08.13 16 39 22 字數 2217 閱讀 757 class content layout blog title 詳解機器學習中的損失函式 categories blog description 機器學習中常見的損失函式以及它們的特點和適用場景 keywords 機器...
機器學習中的損失函式
監督學習問題是在假設空間中選取模型作為決策函式，對於給定的輸入x，由f x 給出對應的輸出y，這個輸出的 值可能與真實值一致或不一致，可以用損失函式 loss function 或代價函式 cost function 來度量 錯誤的程度。f x 1,y f x 0,y f x f x 1 y f x...
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...