本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。
在機器學習中，hinge loss是一種損失函式，它通常用於"maximum-margin"的分類任務中，如支援向量機。數學表示式為：
其中 表示**輸出，通常都是軟結果（就是說輸出不是0，1這種，可能是0.87。），
表示正確的類別。
其函式影象如下，與0-1損失對比：
以支援向量機為例，其模型為：
，如果用hinge損失，其求導結果如下：
實際應用中，一方面很多時候我們的y的值域並不是[-1,1]，比如我們可能更希望y更接近於乙個概率，即其值域最好是[0,1]。另一方面，很多時候我們希望訓練的是兩個樣本之間的相似關係，而非樣本的整體分類，所以很多時候我們會用下面的公式：
其中，y是正樣本的得分，y』是負樣本的得分，m是margin（自己選乙個數）
即我們希望正樣本分數越高越好，負樣本分數越低越好，但二者得分之差最多到m就足夠了，差距增大並不會有任何獎勵。
比如，我們想訓練詞向量，我們希望經常同時出現的詞，他們的向量內積越大越好；不經常同時出現的詞，他們的向量內積越小越好。則我們的hinge loss function可以是：
其中，w是當前正在處理的詞，
是w在文中前3個詞和後3個詞中的某乙個詞，
是隨機選的乙個詞。
[1]. wikiwand hinge loss
[2]. 損失函式：hinge loss（max margin）
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
損失函式 SRGAN損失函式（目標函式）詳解
srgan的特點之一就是引進了損失感知函式，由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式，及其keras實現。這是原文中給出的損失函式。容易看出，此損失函式包括兩部分，第一部分是感知損失，第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...
gan網路損失函式 GAN的損失函式
理解生成對抗網路的關鍵在於理解gan的損失函式 js散度 gan實際是通過對先驗分布施加乙個運算g,來擬合乙個新的分布 如果從傳統的判別式網路的思路出發，只要選定合適的loss，就可以使生成分布和真實分布之間的距離盡可能逼近 kl散度經常用來衡量分布之間距離 但kl散度是不對稱的。不對稱意味著，對於...