Focal loss 詳細解讀

2021-10-10 23:11:52 字數 1170 閱讀 5204

focal loss所解決的問題是在object detection領域由正負樣本不平衡,而導致one-stage detector方法的準確率不如two-stage detector。one-stage detector主要是在一張影象上生成成千上萬的candidate locations,這些candidate location中包含所需要的檢測目標只有一部分區域即正樣本,大多數區域是與檢測目標不相關的背景即負樣本。這樣就會造成candidate location中,正樣本數遠遠小於負樣本數。根據交叉熵函式:

從上面公式可以做出影象

y』表示分成正樣本的概率,可以看出當y』越大時,loss越小。所以當真值為1時,y』越大說明樣本容易分類為標籤1,所以為簡單樣本,loss越小,對模型更新貢獻較少。y』越**明樣本不容易分類成標籤1,所以為複雜樣本,loss會大,對模型更新顯著。當真值為0時,y』越大說明模型容易把錯樣本分成正樣本,loss=-log(1-y』),loss偏大,模型容易更新優化。y』越**明模型容易正確地把樣本正確地分為負樣本,loss偏小,即對模型更新效果不顯著。這樣一來,在one-stage detector中會出現以下問題:

1.當資料集中簡單正樣本偏多,由於loss偏低則模型更新較為緩慢,且可能無法優化至最優。

2.在candidate location中,作為背景的負樣本偏多,且多是容易分類,導致模型優化方向會偏向於容易出檢測負樣本,難檢測出正樣本,且訓練過程中loss偏低模型迭代緩慢。

focal loss的baseline  

在原有的基礎之上,設

在這個loss前加乙個平衡因子alpha

以此來控制正負本的loss權重,如a=0.4,則正樣本貢獻為0.4,負樣本貢獻為0.6。

有了這樣的正負樣本控制因子之後,並不能控制困難和簡單樣本的權重。

因此focal loss在此之上又增加了乙個focusing parameter,gamma

即我們可以看出,pt的值越大,則說明為簡單樣本,

通過focal loss,可以使得:

1.平衡因子alpha控制正負樣本對總loss的共享權重,來平衡模型對正負樣本的檢測能力。

2.注意因子gamma將模型中難分的正樣本的loss權重調高,loss貢獻較多,使模型對難分的樣本分類能力增強。

詳細解讀mysql 詳細解讀MySQL中的許可權

一 前言 很多文章中會說,資料庫的許可權按最小許可權為原則,這句話本身沒有錯,但是卻是一句空話。因為最小許可權,這個東西太抽象,很多時候你並弄不清楚具體他需要哪些許可權。現在很多mysql用著root賬戶在操作,並不是大家不知道用root許可權太大不安全,而是很多人並不知道該給予什麼樣的許可權既安全...

詳細解讀restful

越來越多的人開始意識到,即軟體,而且是一種新型的軟體。這種 網際網路軟體 採用客戶端 伺服器模式,建立在分布式體系上,通過網際網路通訊,具有高延時 high latency 高併發等特點。開發,完全可以採用軟體開發的模式。但是傳統上,軟體和網路是兩個不同的領域,很少有交集 軟體開發主要針對單機環境,...

memset函式詳細解讀

or void memset void s,int ch,unsigned n memest原型 please type man memset in your shell void memset void s,int c,size t n memset 作用是在一段記憶體塊中填充某個給定的值,它對較...