這篇博文翻譯得損失函式來自機器學習中一篇講義。
1 損失函式（乙個統一的觀點）
損失函式的一般定義如下，損失函式包含了兩部分：損失項和正則項。
1.1 損失項
這小節將舉5個例子來說明損失項。這5個例子是gold standard(理想情況),hinge(軟間隔svm)
, log(邏輯回歸,交叉熵誤差), squared loss(線性回歸) and boosting.
1.1.1 gold standard
gold standard損失函式，我們已經使用它來評估我們的分類器了——計算產生的錯誤數量。通常被稱為「0-1」損失，或者
1.1.2hinge(軟間隔svm)軟間隔損失項，使用
所以我們可以把等式變換成下列的形式
1.1.4 線性回歸
線性回歸有乙個平方損失項，使用l2描述損失平方項。我們可以從圖14.1看到平方項比gold standard更高，所以平方項
不是乙個好的函式
1.1.5 boosting
我們再看看被稱為boosting的學習演算法。它可以看成是指數損失項的貪心優化。
在圖14.1是5個函式的曲線圖，藍色線是0-1損失函式，黑色線是平方損失函式，紅色是hinge loss，黃色是logistic loss，
綠色是boosting loss。
針對5個損失項的4點分析
（1）（2）所有的損失函式是l01的凸替換。這意味著我們仍然可以使用我們通用邊界
（3）如果我們的目標不是在x^new, y^new上最小化0-1損失函式。但需要最大化概率p（y^new|x^new），
我們可以使用llog。
但注意到最大化概率p(y^new｜x^new)意味著我們用無邊界的損失函式來評估我們的結果。
換句話說，有可能我們會看到乙個特殊的訓練例子，而這個例子是極其不好的。
（4）有界損失和凸性相對應。在一些場合中，直覺來看，損失應該是有界的–我們不應花費無限的代價用在
某個錯分了的例子上。注意到有界的損失（l01）經常用來給測試資料的分類器評分。但是有界損失函式，
也意味著非凸性–例如，l01(w)不是關於w的凸函式。這表明有界函式很難優化。而凸函式要容易得多。
1.2 正則項
在這節中將介紹幾種有用的正則項
下面是幾種流行的正則項:
上面幾項的一般表示式：
p=2時，得到平方根r2.在計算函式收斂時，使用標準平方更好。.
損失函式 損失函式 Hinge
本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 其中 表示 輸出，通常都是軟結果 就是說輸出不是0，1這種，可能是0.87。表示正確的類別。其函式影...
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
損失函式 SRGAN損失函式（目標函式）詳解
srgan的特點之一就是引進了損失感知函式，由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式，及其keras實現。這是原文中給出的損失函式。容易看出，此損失函式包括兩部分，第一部分是感知損失，第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...