旋轉目標檢測AAAI2020之DAL

實驗

任意方向目標檢測任務在航空、遙感、自然場景中廣泛出現。因此，在近年來，該領域也受到了廣泛的關注。如今很多的旋轉檢測模型使用大量不同方向的目標框去對齊真實目標。而iou一直以來也是挑選正例和負例樣本的重要方法。然鵝，經作者發現使用iou去挑選正例和負例樣本會導致如下兩個問題：

為了進一步驗證這種現象是否具有普遍性，統計了訓練過程的所有樣本iou分布，以及分類回歸分數散點圖，結果如下圖。文章將anchor和gt的iou稱為輸入iou，pred box和gt的iou稱為輸出iou。從中看出：

74%左右的正樣本anchor回歸的pred box後依然是高質量樣本（iou>0.5）；近一半的高質量樣本回歸自負樣本，這說明負樣本還有很大的利用空間，當前基於輸入iou的label assignment選正樣本的效率並不高，有待優化。

圖c說明，當前的基於輸入iou的標籤分配會誘導分類分數和anchor初始定位能力成正相關。而我們期望的結果是pred box的分類回歸能力成正相關。從這裡可以認為基於輸入iou的標籤分配是導致分類回歸不一致的原因之一。這個很好理解，劃分樣本的時候指定的初始對齊很好的為正樣本，其回歸後就算產生了不好的**結果，分類置信還是很高，因為分類回歸任務是解耦的；反之很多初始對齊不好的anchor被分成負樣本，即使能**好，由於分數很低，無法在inference被輸出。

進一步統計了**結果的分布如d，可以看到在低iou區間分類器表現還行，能有效區分負樣本，但是高iou區間如0.7以上，分類器對樣本質量的區分能力有限。【問：表面上右半區密密麻麻好像分類器完全gg的樣子，但是我們正常檢測器並沒有出現分類回歸的異常，高分box的定位一般也不賴，為什麼？一是由於很多的iou 0.5以上的點都是負樣本的，即使定位準根本不會被關注到；二是**的結果中，只要有高質量的能被輸出就行了，其他都會被nms掉，體現在圖中就是右上角可以密密麻麻無所謂，只要右下角沒有太多點視覺化的檢測結果就不會太差。】

直觀來說，輸出iou能夠直接反映**框的定位能力，那麼直接用輸出iou來反饋地選取正樣本不就能實現分類回歸的一致嗎？但是進行實驗發現，網路根本不能收斂。即便是在訓練較好的模型上finetune，模型效能依然會劣化發散。推測是兩種情況導致的：

例如，乙個anchor回歸前iou為0.4，回歸後iou是0.9，我們可以認為這是乙個潛在高質量樣本；但是如果乙個anchor回歸前是0，回歸後0.9，他基本不可能是正樣本，不該參與loss計算。反之亦然。可見這麼簡單的思路沒有人採用，不是沒人想到，而是真的不行。相似的label assignment工作中，即使利用了輸出iou也是用各種加權或者loss等強約束確保可以收斂，有乙個只利用輸出iou進行feedback的工作，但是我復現的時候有很多問題，實驗部分會介紹。

可以理解為輸入iou是目標的空間對齊（spatial alignment），而輸出iou是由於定位物體所需重要特徵的捕捉能力決定的，可以理解為特徵對齊（feature alignment）能力。據此定義了匹配度（matching degree）如下：

前兩項比較好理解，通過輸入iou表徵的空間對齊能力對anchor的定位效能作先驗緩和上面的兩種情況以穩定訓練過程。第三項表徵的是回歸前後的不穩定性作用，對回歸前後的變化進行懲罰。實際上這一項是有效利用輸出iou的關鍵，後面的實驗會證明這一點。自己私下的實驗中發現，有了fafa

fa和u

uu兩項(即α = 0)實際上就能實現超越輸入iou的labelassignment了，但是輸出iou很不穩定，引數比較難調，而加入空間先驗後穩定了很多，效果也能保持很好的水平。

這個不確定性懲罰項u uu有很多表徵形式，之前試過各種複雜花哨的表徵和加權變換，雖然相對現有形式有所提公升但是提公升空間不大。沒必要搞得故弄玄虛的，所以最後還是保留了這種最簡單的方式。

有了新的正樣本選擇標準，直接進行正常的樣本劃分就能選出高質量的正樣本。這裡還能進一步結合一些現有的取樣和分配策略進一步獲得更好的效果（如atss等），**沒有展示這部分實驗可以自己嘗試。學習策略上，在訓練前期為了避免輸出iou的不穩定影響，採取逐漸加大空間對齊影響係數，直至設定值。實驗證明這個策略不影響最終效果，只是加速收斂。

損失函式表示和具體分析如下：

對於分類任務而言，如果正樣本全部置為1，就無法區分高效md不同的樣本了（顯然md=0.1和md=0.9的樣本被分為正樣本的概率不應該一樣）【問：檢測器正常情況下就是這麼做的，咋就沒你這麼多事？不是不能區分。可行的原理是通過不斷的學習，優化下降loss來對「邊緣」程度不同的hard example進行判斷。所以我們看到定位能力和分類分數常常不會差得很遠，這都是反覆的優化的結果。顯然這種策略有效但是很笨，其中顯然還有東西可以做，可以大大提高訓練效率】。所以這裡通過構造帶有定位潛力資訊的md補償矩陣來加權loss進一步關注高質量正樣本的學習情況，使得分類得分更加準確有效，提高nms的準確性。

採用匹配度敏感的loss能夠有效增強檢測器的精確定位樣本的區分能力，如下圖所示，左邊是正常訓練檢測器，可以看到定位精度上高效能部分的額區分度很低，但是加了msl後樣本的定位效能大大提高，同時分類分數也對應提高，越往右上角顏色越深，分類分數和定位效能有較好的關聯性。很多分析由於原**篇幅有限沒有展開。

參見原**或

eccv2020 目標檢測筆記

帶方向目標的檢測 piou loss towards accurate oriented object detection in complex environments 作者 zhiming chen,kean chen,weiyao lin,john see,hui yu,yan ke,cong...

目標檢測 精確定位 2020

side aware boundary localization for more precise object detection 關鍵文章 faster r cnn 37 retinanet 25 and cascade r cnn 提出問題 傳統的基於錨點和大小的邊界盒回歸，當錨點和目標的中心...

目標檢測之Selective Search原理簡述

目標檢測物體的候選框是如何產生的？如今深度學習火熱的今天，rcnn spp net fast rcnn等文章都會談及bounding boxes 候選邊界框 的生成與篩選策略。那麼候選框是如何產生，又是如何進行篩選的呢？其實物體候選框獲取當前主要使用影象分割與區域生長技術。區域生長 合併 主要由於檢...