在南溪看來，loss函式是對目標target和**prediction之間的一種距離度量的公式；
自身不變性指的是：當 prediction = target時，loss函式的值為0；
在數學上，我們可以認為是對映l
ll的l
ll函式矩陣為對稱矩陣；
（這一點是從蔡老師對「svm核函式有效性的證明」的論述中學習到的）
pytorch函式：nn.bceloss()
bce-loss的公式如下（張量表示）：
l =−
[yi⋅
logxi
+(1−
yi)⋅
log(1
−xi)
]l=-\left [ y_i \cdot \log x_i + \left ( 1 - y_i \right ) \cdot \log\left ( 1-x_i \right ) \right ]
l=−[yi
⋅logxi
+(1−
yi)
⋅log(1
−xi
)]kullback-leibler divergence loss是由kl散度衍生出來的，其pytorch的介面為torch.nn.kldivloss；
其函式的數學公式如下：
可以知道這裡的x
nx_n
xn是對數域的，在計算loss之前，需要進行log變換；
import numpy as np
import torch
import torch.nn as nn
loss = nn.kldivloss(
)output = torch.from_numpy(np.array([[
0.1132
,0.5477
,0.3390]]
)).float()
target = torch.from_numpy(np.array([[
0.1541
,0.0511
,0.0947]]
)).float()
loss(output.log(
),target)
# tensor(-0.0648)
語義分割 loss函式的學習筆記
bce 二分類交叉熵 binary cross entropy 在pytorch中對應著函式torch.nn.bceloss 具體公式如下 引用自pytorch官方文件 bce loss需要搭配sigmoid函式一起使用，具體的使用方法可以參考pytorch官方文件中的example m nn.si...
深度學習基礎 loss與啟用函式 maxout
maxout是一種啟用函式。整個maxout網路也是一種非線性的變換 maxout的擬合能力是非常強的，它可以擬合任意的的凸函式。最直觀的解釋就是任意的凸函式都可以由分段線性函式以任意精度擬合。缺點是這個演算法引數個數會成k倍增加 k是maxout的乙個引數 它並不是乙個固定的函式，沒有乙個固定的函...
語義分割 設計loss函式的學習筆記
我們現在先來看看常見的loss函式具有什麼樣的特點 首先我們來看看 cross entropy loss的公式，這裡我們參考pytorch中的公式 好像有點不容易看懂，這裡我把它歸納一下，這裡的公式等價於，l os s x,clas s logq x loss x,class logq x loss...