邏輯回歸模型預估的是樣本屬於某個分類的概率，其損失函式(cost function)可以像線型回歸那樣，以均方差來表示；也可以用對數、概率等方法。損失函式本質上是衡量」模型預估值「到「實際值」的距離，選取好的「距離」單位，可以讓模型更加準確。
1. 均方差距離js
qrt(
w)=∑
i=1m
yi(1
−p(x
i;w)
)2+(
1−yi
)(0−
p(xi
;w))
2(1)
jsqrt(w)=∑i=1myi(1−p(xi;w))2+(1−yi)(0−p(xi;w))2(1)
用均方差作為損失函式，當模型完全預估錯誤時（y=1, p=0; 或y=0， p=1），損失是1。預估正確時，損失是0。錯誤值離正確值的「距離」相對較小，區分度不大。
另外，上面的損失函式相對θθ
並非是凸函式，而是有很多極小值（local minimum）的函式。因此，很多凸優化的演算法（如梯度下降）無法收斂到全域性最優點。
2. log距離
均方差作為lr模型的距離衡量標準，最「預估錯誤」的懲罰太過柔和。因此，最後訓練出來的模型會出現較多的「極端」預估錯誤情況。另外，均方差損失函式的非凸性也限制了其使用價值。
log距離作為損失函式的公式如下:
jlog(w
)=∑i
=1m−
yilo
g(p(
xi;w
))−(
1−yi
)log
(1−p
(xi;
w))(
2)jlog(w)=∑i=1m−yilog(p(xi;w))−(1−yi)log(1−p(xi;w))(2)
式（2）與式（1）的區別如下圖所示：
3. 概率距離
lr模型預估的是概率，自然的，損失函式可以用聯合概率分布來衡量。js
tat(
w)=−
∏i=1
m(p(
xi;w
))yi
(1−p
(xi;
w))1
−yi(
3)jstat(w)=−∏i=1m(p(xi;w))yi(1−p(xi;w))1−yi(3)
比較式（2）和式（3）可知：
jlog(w
)=lo
g(js
tat(
w))(
4)jlog(w)=log(jstat(w))(4)
由於log函式為單調遞增函式，log距離和概率距離本質上是一樣的，訓練得到的結果也應該一致。
損失函式 損失函式 Hinge
本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 其中 表示 輸出，通常都是軟結果 就是說輸出不是0，1這種，可能是0.87。表示正確的類別。其函式影...
gan網路損失函式 GAN的損失函式
理解生成對抗網路的關鍵在於理解gan的損失函式 js散度 gan實際是通過對先驗分布施加乙個運算g,來擬合乙個新的分布 如果從傳統的判別式網路的思路出發，只要選定合適的loss，就可以使生成分布和真實分布之間的距離盡可能逼近 kl散度經常用來衡量分布之間距離 但kl散度是不對稱的。不對稱意味著，對於...
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...