損失函式loss function）是用來估量模型的**值f(x)與真實值y的不一致程度，它是乙個非負實值函式,通常使用l(y, f(x))來表示，損失函式越小，模型的魯棒性就越好。損失函式是經驗風險函式的核心部分，也是結構風險函式重要組成部分。模型的結構風險函式包括了經驗風險項和正則項，通常可以表示成如下式子：
損失函式是代價函式的一部分，代價函式是目標函式的一種
回歸常見的損失函式有：均方差（mean squared error，mse）、平均絕對誤差（mean absolute error loss，mae）、huber loss是一種將mse與mae結合起來，取兩者優點的損失函式，也被稱作smooth mean absolute error loss 、分位數損失（quantile loss）損失函式。
分類常見的損失函式有：交叉熵損失（cross entropy loss）、合頁損失（hinge loss）、0/1損失函式、指數損失、對數損失/對數似然損失（log-likelihood loss）
均方差（mean squared error，mse）損失是機器學習、深度學習回歸任務中最常用的一種損失函式，也稱為 l2 loss。其基本形式如下：
可以看到這個實際上就是均方差損失的形式。也就是說在模型輸出與真實值的誤差服從高斯分布的假設下，最小化均方差損失函式與極大似然估計本質上是一致的，因此在這個假設能被滿足的場景中（比如回歸），均方差損失是乙個很好的損失函式選擇；當這個假設沒能被滿足的場景中（比如分類），均方差損失不是乙個好的選擇
平均絕對誤差（mean absolute error loss，mae）是另一類常用的損失函式，也稱為l1 loss。其基本形式如下：
mae與mse的區別：
huber loss是一種將mse與mae結合起來，取兩者優點的損失函式，也被稱作smooth mean absolute error loss 。其原理很簡單，就是在誤差接近0時使用mse，誤差較大時使用mae，公式為：
在分位數回歸quantile regression是一類在實際應用中非常有用的回歸演算法，通常的回歸演算法是擬合目標值的期望（mse）或者中位數（mae），而分位數回歸可以通過給定不同的分位點，擬合目標值的不同分位數。
式中的r為分位數，這個損失函式是乙個分段的函式，當r>0.5時，低估(分別用不同的係數控制高估和低估的損失，進而實現分位數回歸。特別地，當r=0.5時，分位數損失退化為mae損失，從這裡可以看出 mae 損失實際上是分位數損失的乙個特例—中位數回歸
支援向量機support vector machine (svm)模型的損失函式本質上就是hinge loss + l2正則化。
區別：交叉熵函式使用來描述模型**值和真實值的差距大小，越大代表越不相近；似然函式的本質就是衡量在某個引數下，整體的估計和真實的情況一樣的概率，越大代表越相近。
聯絡：交叉熵函式可以由最大似然函式在伯努利分布的條件下推導出來，或者說最小化交叉熵函式的本質就是對數似然函式的最大化。
參考文章
損失函式簡單介紹，簡單說明了常見的損失函式和相關優缺點）
挺詳細的損失函式介紹，並闡明了損失函式背後所依賴的數學原理）
散度詳細原理介紹）
書中損失函式計算）
損失函式 損失函式 Hinge
本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 其中 表示 輸出，通常都是軟結果 就是說輸出不是0，1這種，可能是0.87。表示正確的類別。其函式影...
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
損失函式 SRGAN損失函式（目標函式）詳解
srgan的特點之一就是引進了損失感知函式，由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式，及其keras實現。這是原文中給出的損失函式。容易看出，此損失函式包括兩部分，第一部分是感知損失，第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...