機器學習(四) 損失函式

2021-08-08 23:11:40 字數 1555 閱讀 8726

在上上一節邏輯回歸中,是使用似然函式來作為模型的求解引數的目標。

但在很多情況下,似然函式很難直接寫出,更常用的方法是損失函式,這個在上上一節的補充中也有提過。

那麼損失函式表示什麼概念呢?

和似然函式相反,損失函式是模型**失敗的度量。

注意最大化似然函式和最小化損失函式兩者並不能完全等同,因為這涉及到所選取的引數。

對於機器學習模型來說,選擇哪一種都符合模型求解的規則,關鍵在於選擇哪一種標準(最大化似然函式or最小化損失函式)能夠進行求解。

損失函式分為兩個部分:損失向,正則項

損失項即代表模型誤判的度量,這和與上面說的損失函式的意義是一致的。

在介紹各類損失之前,先簡單說明樣本的資料,並引入幾個自定義引數。

從最簡答的二分類開始,樣本資料如下(x

i,yi

),其中

xi是樣

本的屬性

,yi是

該樣本點

的標籤,

且yi∈

。 模型的形式為:f(

xi)

自定義引數如下: m=

f(xi

)(yi

−12)

m>0表示**正確,m<0表示**錯誤。

如果你看過其他資料,就會發現,一般m定義為m=

f(xi

)yi ,那是因為在這裡yi

∈ 和上上一節介紹的一樣,0-1損失應該是衡量模型最直接(應該也是最準確)的指標了,即

直接拿模型**的錯誤率來作為損失函式。

0-1損失的損失函式定義如下: l0

−1(m

)={0

10≤m

0>m

這是乙個躍階函式,或者成為0-1函式。

模型求解的目標即是:mi

n∑l0

−1(x

) 0-1損失並不依賴於m的大小,而只與m的正負號有關,因此0-1損失是乙個非凸的函式,在求解的過程中,存在很多的不足,通常在實際的使用中將0-1損失函式作為乙個標準,選擇0-1損失函式的**函式作為損失函式。

既然是0-1損失的**,那麼log損失應該是0-1損失的近似,折中一點,至少損失函式的性狀最好和0-1函式形似。

躍階會導致函式不可微,一般我們還是習慣使用可微函式,畢竟nature never jump(除了量子力學)。

於是我們需要將m至於函式裡面,而不是作為分段函式的分段依據。 ln

(1+e

−m) 當m越大時,該值越小,表示損失越小;m越小時,該值越大,則表示損失越大。

於是log損失的損失項就出來了: ll

邏輯回歸就是使用的log損失作為模型求解引數的依據。

機器學習總結(四)損失函式的總結

在監督學習中,給定輸入x,可根據假設函式f x 輸出相應的y。這個f x 與y可能一致,也可能不一致。用損失函式來度量 錯誤的程度。通常希望的是損失函式的值越小越好。我們一般是通過優化損失函式,把損失函式的值最小時的引數作為 函式的引數值。常見的損失函式有 一 0 1損失函式 二 平方損失函式 常見...

機器學習損失函式梳理

沒有乙個適合所有機器學習演算法的損失函式。針對特定問題選擇損失函式涉及到許多因素,比如所選機器學習演算法的型別 是否易於計算導數以及資料集中異常值所佔比例。下文中總結了機器學習中比較重要的損失函式。均方誤差 mse 度量的是 值和實際觀測值間差的平方的均值。它只考慮誤差的平均大小,不考慮其方向。但由...

機器學習常見損失函式

損失函式作用 損失函式是用於衡量模型 值與真實值之間差距的函式,損失函式的值越小越好。常見的損失函式有如下幾種 0 1損失函式 zero one loss 當且僅當 為真的時候取值為1,否則取值為0。可以看出該損失函式過於嚴格,導致其具有非凸 非光滑的特點,使得演算法很難直接對該函式進行優化。感知損...