深度學習中損失函式是整個網路模型的「指揮棒」， 通過對**樣本和真實樣本標記產生的誤差反向傳播指導網路引數學習。
分類任務的損失函式
假設某分類任務共有n個訓練樣本，針對網路最後分層第 i 個樣本的輸入特徵為 xixi ，其對應的標記為yiyi是最終的分類結果（c個分類結果中的乙個），h=（h1,h2,...,hch1,h2,...,hc）為網路的最終輸出，即樣本 i 的**結果。其中 c 是最後所有分類的數量。
交叉熵損失函式（cross entropy）
交叉熵損失函式又叫 softmax 損失函式。 是目前卷積神經網路中最常用的分類目標損失函式。
舉個例子，比如 c = 3 ，也就是最後分類結果有三種，分別是0，1，2.假設對於第 i 個樣本正確分類是1，h=（2，5，1），那麼交叉熵損失函式就等於：
-（1 / 3）* (log((e^5) / (e^2 + e^5 + e^1)))
lcrossentropyloss=lsoftmaxloss=−1nlog(ehyi∑cj=1ehj)
lcrossentropyloss=lsoftmaxloss=−1nlog(ehyi∑j=1cehj)
合頁損失函式（hinge loss）
合頁函式廣泛在支援向量機中使用，有時也會在損失函式中使用。
lhingeloss=1n∑i=1nmax(0,1−hyi)
lhingeloss=1n∑i=1nmax(0,1−hyi)
在分類任務中，通常使用交叉熵函式要優於使用合頁損失函式。
缺點：合頁損失函式是對錯誤越大的樣本施以更嚴重的懲罰。可是這樣會導致損失函式對噪音敏感。舉例，如果乙個樣本的標記錯誤或者是離群點，則由於錯分導致分類誤差會很大，如此便會影響整個分類超平面的學習，從而降低模型泛化能力。
坡道損失函式（ramp loss function）
優點：克服了合頁損失函式魯棒性差的特點，對雜訊資料和離群資料有很好的抗噪能力。因此也被稱作魯棒損失函式。這類損失函式的特點是在分類（回歸）問題誤差較大區域進行了截斷，使得較大的誤差不再影響整個損失函式。
lramploss=lhingeloss−1nmax(0,s−hyi)
lramploss=lhingeloss−1nmax(0,s−hyi)
=1n∑i=1n(max(0,1−hyi)−max(0,s−hyi))
=1n∑i=1n(max(0,1−hyi)−max(0,s−hyi))
s指定了截斷點的位置。
合頁損失函式和坡道損失函式對比圖：
截斷點 s = - 0.5 。
問題：坡道損失函式在x=1 和 x=s兩處不可導，如何進行誤差方向傳播。真實情況下並不要求必須嚴格滿足數學上的連續。因為計算機內部的浮點計算並不會得到完全導數落在尖點上的非常情況，最多隻會落在尖點附近，僅需給出對應的導數值，因此數學上的尖點不影響使用。
對於截斷點的設定，s的取值最好根據類別數c來定，一般設定為s = -1 / (c - 1)
交叉熵損失函式， 合頁損失函式和坡道損失函式只是簡單衡量模型**值與樣本真實值之間的誤差從而指導訓練。他們並沒有顯示的將特徵判別性學習考慮到整個網路訓練中，對此，為了進一步提高學習到的特徵表示的判別性，近期研究者設計了一些新的損失函式如下：
大間隔交叉熵損失函式
網路的輸出結果 h 實際上是全連線層引數 w 和最後一層的特徵向量xixi的內積， 即h=wtxih=wtxi。（為了簡潔並未加入偏置 b ），因此傳統的交叉熵損失函式可以表現為：
lsoftmaxloss=−1n∑i=1nlog(ewtyixi∑cj=1ewtjxi)
lsoftmaxloss=−1n∑i=1nlog(ewyitxi∑j=1cewjtxi)
其中wtiwit為ww的第 i 列引數， 則wtixiwitxi是乙個具體的資料， 根據內積的定義，可以轉換為下式子：
lsoftmaxloss=−1n∑i=1nlog(e||wyi||||xi||cos(θyi)∑cj=1e||wyi||||xi||cos(θj))
lsoftmaxloss=−1n∑i=1nlog(e||wyi||||xi||cos(θyi)∑j=1ce||wyi||||xi||cos(θj))
式子中 θjθj （0 <= θjθj <= ππ）為wtiwit和 xixi 的夾角
以二分類為例，我們希望正確樣本的分數大於錯誤樣本的分數，因此希望引數wt1xiiw1txii> wt2xiiw2txii, 也就是||w1|| ||xi|| cos(θ1θ1) > ||w2|| ||xi|| cos(θ2θ2)。
那麼大間隔交叉熵損失函式為了讓特徵更具有分辨能力則在這個基礎上要求兩者差距更大，於是引入m拉開差距， 這便是大間隔的由來。||w1|| ||xi|| cos(mθ1) > ||w2|| ||xi|| cos(θ2) （0 <= θ1θ1 <= πmπm）。式子中m為正整數，起到控制間隔大小的作用，m越大，類間間隔越大。反之亦然。 當m=1， 大間隔交叉熵損失函式退化為傳統的交叉熵損失函式。
綜上： ||w1|| ||xixi|| cos(θ1θ1) >= ||w1|| ||xixi|| cos(mθ1θ1) > ||w2|| ||xi|| cos(θ2θ2)
定義：
llargemarginsoftmaxloss=−1n∑i=1nlog(e||wyi||||xi||ϕ(θyi)e||wyi||||xi||ϕ(θyi)+∑j!=yie||wyi||||xi||cos(θj))
llargemarginsoftmaxloss=−1n∑i=1nlog(e||wyi||||xi||ϕ(θyi)e||wyi||||xi||ϕ(θyi)+∑j!=yie||wyi||||xi||cos(θj))
相比於傳統的交叉熵損失函式，僅僅是將第i類間隔拉大了， 其中：
ϕ(θ)=(−1)kcos(mθ)−2k
ϕ(θ)=(−1)kcos(mθ)−2k
θ=[kπm,(k+1)πm]
θ=[kπm,(k+1)πm]
k 為整數， k 屬於[0， m-1]
下圖表示了在二分類情況下，w1， w2 的模在等於， 小於， 大於三種不同關係下的決策邊界。
可以看出大間隔交叉熵損失函式擴大了類間的距離， 由於它不僅要求分類正確且要求分開的類保持較大的間隔。使得目標比傳統交叉熵更加困難。訓練目標變得困難帶來的乙個額外的好處就是起到防止過擬合的作用。並且在分類效能方面，大間隔交叉熵損失函式要優於交叉熵損失函式和合頁函式。
中心損失函式
大間隔交叉熵損失函式主要考慮增加類間距離， 而中心損失函式則在考慮類間距離的同時還將一些注意力放在減少類間差異上。
中心損失函式定義：
lcenterloss=12∑i=1n||xi−cyi||22
lcenterloss=12∑i=1n||xi−cyi||22
其中cyicyi為第yiyi類所有深度特徵的均值（中心），因此叫中心損失函式。直觀上，上式迫使所有隸屬於yi類的樣本和中心不要太遠，否則將增大懲罰。在實際中，由於中心損失函式本身考慮類內差異，因此中心損失函式應與主要考慮類間的損失函式配合使用，如交叉熵函式，例如:
lfinal=lcrossentropyloss+λlcenterloss
lfinal=lcrossentropyloss+λlcenterloss
式子中 λ 為兩個損失函式之間的調節，λ 越大類內差異佔整個目標函式較大比重。
回歸任務的損失函式
在分類任務中，樣本的真實標記實際上對應 one hot vector : 對樣本ii， 該向量在 yiyi 處為 1 表徵該樣本的真實隸屬類別，而其餘c-1維均為0。 在回歸任務中，回歸任務真實標記每一維為乙個實數， 而非二值。
在介紹不同回歸任務的損失函式之前，首先介紹乙個回歸的基本概念，殘差或稱**誤差，用於衡量**值和真實標記的靠近程度。假設回歸問題對應第ii個輸入特徵xixi的真實標記為yi=（y1,y2,y3,...,ym）yi=（y1,y2,y3,...,ym）, m為標記向量的總維度，則 litlti即表示樣本 ii 在網路回歸**值 y′tyt′ 與真實值在第t維的**誤差：
lit=yt−y′t
lti=yt−yt′
l1損失函式
常用的回歸問題的損失函式是l1 和 l2損失函式。對n個樣本的l1損失函式定義如下：
ll1loss=1n∑i=1n∑t=1m|lit|
ll1loss=1n∑i=1n∑t=1m|lti|
l2損失函式
ll2loss=1n∑i=1n∑t=1m|lit|2
ll2loss=1n∑i=1n∑t=1m|lti|2
tukey』s biweight 損失函式
同分類中提到的坡道損失函式一樣， tukey』s biweight損失函式也是一類非凸損失函式。可克服回歸任務中離群點或樣本雜訊對整體回歸模型的干擾和影響，是回歸任務中一種魯棒的損失函式，其定義：
ltukey=⎧⎩⎨c26n∑ni=1∑mt=1[1−(1−(litc)2)3],c2m6,|lit|<=cother values
ltukey={c26n∑i=1n∑t=1m[1−(1−(ltic)2)3],|lti|<=cc2m6,other values
式子中，常數c指定了函式拐點，需要指出的是，該超引數並不需要人為設定，常用的c=4.6851 時， tukey』s biweight損失函式可取得與 l2 損失函式 在最小化符合標準正態分佈的殘差類似的回歸效果。
參考解析卷積神經網路——深度學習實踐手冊
深度學習損失函式
在利用深度學習模型解決有監督問題時，比如分類 回歸 去噪等，我們一般的思路如下 在第2步中，我們通常會見到多種損失函式的定義方法，常見的有均方誤差 error of mean square 最大似然誤差 maximum likelihood estimate 最大後驗概率 maximum poste...
深度學習常用損失函式
損失函式的作用是衡量實際輸出與預計輸出之間的差異，損失函式的設計是深度學習中十分重要的部分，不僅會影響到訓練的速度，還會影響隱含層中資料的分布情況。目前僅僅是總結了部分常用損失函式的計算方法，其中涉及很多統計學最優化知識，對此僅僅是淺嘗輒止，其中更多的原理還需要以後慢慢總結體會，以下僅簡要記錄其計算...
深度學習中的損失函式
1.交叉熵損失函式 理解交叉熵函式在神經網路中的作用 2.平方差損失函式 平方差損失函式和交叉熵損失函式的比較 3.對數損失函式 對數損失函式和平方差函式 4.絕對值誤差 這個概念就比較簡單了，就是 值和真實值差值的絕對值，當然，為了評估 的準確程度，當然絕對值越小越好。5.0 1損失函式 0 1損...