深度學習基礎篇 常用的損失函式

損失函式是用來度量模型一次**結果的好壞

我們規定輸入值為x，則f(x)為**值，y為真實值。這個時候我們需要乙個衡量**值和真實值之間的差距的函式，我們就稱這個函式為損失函式，記作l(y,f(x))

均方誤差

n個平方損失函式之和再求平均值

mse

=1n∑

i=1n

(y(i

))−f

(x(i

)))2

mse = \frac\sum_^(y^ - f(x^))^

mse=n1

​∑i=

1n​(

y(i)

)−f(

x(i)

))2

將「均方誤差」開根號

rms

e=ms

e=1n

∑i=1

n(y(

i))−

f(x(

i)))

2rmse = \sqrt = \sqrt\sum_^(y^ - f(x^))^}

rmse=m

se​=

n1​∑

i=1n

​(y(

i))−

f(x(

i)))

2​

n個平方損失函式之和在求平均值

mae

=1n∑

i=1n

∣y(i

))−f

(x(i

))

∣mae = \frac\sum_^|y^ - f(x^)|

mae=n1

​∑i=

1n​∣

y(i)

)−f(

x(i)

)∣

交叉熵主要用於度量兩個概率分布間的差異資訊。交叉熵越小，代表「損失值」越小，常用於分類問題

h(p

,q)=

−∑i=

1np(

xi)l

og(q

(xi)

)h(p,q) = - \sum_^p(x_)log(q(x_))

h(p,q)

=−∑i

=1n​

p(xi

​)lo

g(q(

xi​)

)

常用於比較2個向量之間的相似程度，與損失函式不同的是，余弦相似度越大，「損失越小」公式如下：

sim

=0.5

+0.5∗a

∗b∣a

∣∗∣b

∣sim = 0.5 + 0.5 * \frac

sim=0.

5+0.

5∗∣a

∣∗∣b

∣a∗b

​

model.compile(loss='mean_squared_error',optimizer='sgd') # 均方誤差  隨機梯度下降

或者：from keras import losses
model.compile(loss=losses.mean_squared_error,optimizer='sgd')

深度學習常用損失函式

損失函式的作用是衡量實際輸出與預計輸出之間的差異，損失函式的設計是深度學習中十分重要的部分，不僅會影響到訓練的速度，還會影響隱含層中資料的分布情況。目前僅僅是總結了部分常用損失函式的計算方法，其中涉及很多統計學最優化知識，對此僅僅是淺嘗輒止，其中更多的原理還需要以後慢慢總結體會，以下僅簡要記錄其計算...

深度學習損失函式

在利用深度學習模型解決有監督問題時，比如分類 回歸 去噪等，我們一般的思路如下 在第2步中，我們通常會見到多種損失函式的定義方法，常見的有均方誤差 error of mean square 最大似然誤差 maximum likelihood estimate 最大後驗概率 maximum poste...

深度學習 損失函式

深度學習中損失函式是整個網路模型的 指揮棒 通過對 樣本和真實樣本標記產生的誤差反向傳播指導網路引數學習。分類任務的損失函式 假設某分類任務共有n個訓練樣本，針對網路最後分層第 i 個樣本的輸入特徵為 xixi 其對應的標記為yiyi是最終的分類結果 c個分類結果中的乙個 h h1,h2,hch1,...