1、平方損失：
平方損失也可以理解為是最小二乘法，一般在回歸問題中比較常見，最小二乘法的基本原理是：最優擬合直線是使各點到回歸直線的距離和最小的直線，即平方和最。同時在實際應用中，均方誤差也經常被用為衡量模型的標準：
2、對數損失：
一般的概率模型或者是分類問題，大都使用對數損失函式作為衡量損失的標準，首先給出對數損失函式的標準形式：
觀察可以發現，對於對數損失按照樣本求和之後，對數的位上會變成條件概率的積，這個時候就非常有意思了，而對於概率模型而言，條件概率基於樣本的積就是模型的似然函式，再取對數以後也是表徵似然函式，綜上可以看出，概率模型的對數損失函式的最小值就是似然函式的最大值，也就是說求解最大似然就是最優化對數損失。
具體點分析，如果按照概率值劃分0和1（類似lr，多分類概率問題），對數損失可以表示為：
而如果按照二分類（-1和1表示），對數損失函式可以表示為：
平方損失函式非常直觀，它直接度量了真實回歸模型與假設回歸模型之間的差異; 而對數損失則是度量了真實條件概率分布與假定條件概率分布之間的差異，這也是概率模型與非概率模型的問題. 非概率模型的學習通過預先選定損失函式如平方損失，hinge損失，指數損失等0-1損失的替代品，然後通過最小化平均損失的形式來學習函式模型; 而概率模型的學習則是預先選定條件分布的形式，然後通過最小化某種概率分布距離的形式來學習分布模型。
常用損失函式
自己隨便亂粘的，自用 1 logloss對數損失函式 對數損失,即對數似然損失 log likelihood loss 也稱邏輯斯諦回歸損失 logistic loss 或交叉熵損失 cross entropy loss 是在概率估計上定義的.它常用於 multi nominal,多項 邏輯斯諦回歸...
常用損失函式
值和目標值不等,則為1,否則為0 l y,f x begin 1,y not f x 0,y f x end 0 1損失直接對應分類判別的錯誤與否,可以理解為是乙個 sign 函式,這樣的函式,是不連續的,非凸的,感知機就是用的這種損失,這種損失太嚴格 l y,f x y f x mae對於異常樣本...
損失函式 SRGAN損失函式（目標函式）詳解
srgan的特點之一就是引進了損失感知函式，由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式，及其keras實現。這是原文中給出的損失函式。容易看出，此損失函式包括兩部分，第一部分是感知損失，第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...