機器學習的所有演算法都需要最大化或者最小化目標函式,在最小化場景下,目標函式又稱損失函式。
實際應用中,選取損失函式需要從多個角度考慮,如是否有異常值、演算法、求導難度、**值的置信度等等。
損失函式可分為兩大類,分類問題的損失函式和回歸問題的損失函式,
本文將對比分析回歸問題中最常用的5個損失函式。
回歸問題中最常見的損失函式。如果對所有樣本點只給出乙個**值,那麼這個值就是所有目標值的平均值。
優點:
缺點:
如果對所有樣本點只給出乙個**值,那麼這個值就是所有目標值的中位數。
優點:
缺點:
當誤差在[0-δ,0+δ]之間時,等價為mse,而在[-∞,δ]和[δ,+∞]時為mae
優點:
缺點:
比mse更加平滑的損失函式。
優點:
缺點:
**的是目標的取值範圍而不是值
γ是所需的分位數,其值介於0和1之間,γ等於0.5時,相當於mae。
設定多個γ值,得到多個**模型,然後繪製成圖表,即可知道**範圍及對應概率(兩個γ值相減)。
機器學習大牛最常用的5個回歸損失函式,你知道幾個?
損失函式 是機器學習優化中至關重要的一部分。l1 l2損失函式相信大多數人都早已不陌生。那你了解huber損失 log cosh損失 以及常用於計算 區間的分位數損失麼?這些可都是機器學習大牛最常用的回歸損失函式哦!機器學習中所有的演算法都需要最大化或最小化乙個函式,這個函式被稱為 目標函式 其中,...
機器學習中的損失函式 二 回歸問題的損失函式
mse sum n y i hat 2 tag1 平方損失函式是光滑函式,能夠用梯度下降法進行優化。然而,值距離真實值越遠,平方損失的懲罰力度越大,因此,它對異常點比較敏感。為了解決該問題,可以採用絕對損失函式。mae sum n y i hat tag2 mae相比mse的優點 mae相當於在做中...
線性回歸損失函式推導 最大似然問題解析
線性回歸損失函式推導 最大似然問題解析。把統計看了一遍就是為了這裡 線性回歸假設函式為 y tx role presentation y txy tx 之前是根據函式影象推導出損失函式為誤差平方和,這次用統計學方法推導。擬合資料,就是把誤差減到最小 誤差 y tx role presentation...