Contrastive Loss 對比損失

2021-08-20 21:47:57 字數 772 閱讀 8555

在caffe的孿生神經網路(siamese network)中,其採用的損失函式是contrastive loss,這種損失函式可以有效的處理孿生神經網路中的paired data的關係。contrastive loss的表示式如下: l=

12n∑

n=1n

yd2+

(1−y

)max

(mar

gin−

d,0)

2其中d=

||an

−bn|

|2,代表兩個樣本特徵的歐氏距離,y為兩個樣本是否匹配的標籤,y=1代表兩個樣本相似或者匹配,y=0則代表不匹配,margin為設定的閾值。

觀察上述的contrastive loss的表示式可以發現,這種損失函式可以很好的表達成對樣本的匹配程度,也能夠很好用於訓練提取特徵的模型。當y=1(即樣本相似)時,損失函式只剩下∑yd

2,即原本相似的樣本,如果在特徵空間的歐式距離較大,則說明當前的模型不好,因此加大損失。而當y=0時(即樣本不相似)時,損失函式為∑(

1−y)

max(

marg

in−d

,0)2

,即當樣本不相似時,其特徵空間的歐式距離反而小的話,損失值會變大,這也正好符號我們的要求。

這張圖表示的就是損失函式值與樣本特徵的歐式距離之間的關係,其中紅色虛線表示的是相似樣本的損失值,藍色實線表示的不相似樣本的損失值。

Contrastive Loss 對比損失

在傳統的siamese network中一般使用contrastive loss作為損失函式,這種損失函式可以有效的處理孿生神經網路中的paired data的關係。siamese network 孿生神經網路 contrastive loss的表示式如下 tensorflow偽 def contr...

10kv線損計算公式 線損以及線損率的計算公式

線損率計算公式 線損率 線損電量 供電量 100 供電量 售電量 供電量 100 1 輸電線路損耗 1 單一線路有功功率損失計算公式為 p i2r 式中 p 損失功率,w i 負荷電流,a r 導線電阻,2 三相電力線路 線路有功損失為 p pa十 pb十 pc 3i2r 3 溫度對導線電阻的影響 ...

止損 鱷魚原則

當鱷魚咬住了乙個人的腳,如果這個人用手臂去跟鱷魚搏鬥的話,鱷魚的嘴巴就會同時咬住他 的手,並且越掙扎陷的越深,直到最後被鱷魚吃掉。在這種情況下,唯一的生存機會就是立刻 把這只腳犧牲掉。講到做交易,乙個重要的原則就是止損,鱷魚原則講的就是止損理念。鱷魚在吞食獵物的時候,每咬一口的動作都非常迅速,通常獵...