近期在調研目標檢測的研究現狀,包括two-stage和one-stage,以及anchor-based和anchor-free。
把用到的一些鏈結記錄一下 ,方便查閱。
從錨點到關鍵點,最新的目標檢測方法發展到哪了
這篇文章介紹了目標檢測方法從anchor-based到anchor-free的發展,並指出anchor-free將會是比較有前景的研究方向。文章是以一篇綜述為基礎展開介紹的。recent advances in deep learning for object detection這篇綜述是2023年的**。
這是比較新的一篇anchor-free的one-stage目標檢測方法,整體結構圖如下圖所示。首先是用fpn來抽取不同multi-level的特徵。然後在feature map的每個點上回歸,訓練bounding box和class。訓練階段還單獨訓練了center-ness分支,以計算center-ness,使得離中心較遠的bounding box有較低的置信度。test階段即抽取特徵,然後給出bounding box和label,confidence是由center-ness和classification的置信度相乘得出的。
把每張feature map的每個座標都可以對映回原輸入影象。如果某個feature map的座標落在某個ground truth的框內,那麼這就是乙個正樣本,可以拿來做訓練。首先做個對映,計算feature map中的這個點,到ground truth的距離。如下圖所示,這就是訓練階段的回歸目標。
從這裡我們可以看到,由於採用了fpn和逐畫素匹配,fcos可以盡可能多地利用ground truth,而且所有送入訓練的樣本都是正樣本。這與anchor-based檢測器不同,anchor-based detectors僅考慮iou較高的作為正樣本,作者認為這可能是fcos表現高於一些anchor-based檢測器的原因之一。
在網路輸出階段,fcos是直接將分類和回歸分支接到fpn和4個conv後面,沒有anchor的生成過程和修正過程,因此減少了參數量和計算量。
損失函式如下所示。前半部分是分類的focal loss(這篇文章都是在和retinanet做對比,很多引數設定和它一樣),後半部分是iou loss。
在fcos中使用fpn主要是考慮了目標重疊的問題,而且用不同level的特徵檢測不同大小的目標,能很大程度上提高精度。在不同的feature map中,都去找合適的
center-ness是由於,檢測出的許多低質量的bounding box都是由於邊框離中心太遠了。所以提出center-ness可以將這部分的bounding box的confidence降低(center-ness越**明邊框離中心點越遠)。這個公式是在訓練過程中計算的,如果在test階段就直接從該branch得到計算後的center-ness,然後直接與label的置信度相乘,得到最終的置信度。
作者做了很多很多對比實驗,來說明fpn,center-ness等元件的作用,而且絕大多數超引數都是直接用的retinanet的。而且效果也被證明挺不錯。
retinanet: focal loss在目標檢測中的應用
這篇文章是2023年kaiming的提出focal loss的文章,是為了解決類別不平衡的問題。
fpn網路的結構並不複雜,包括bottom-up pathway和top-down pathway、lateral connections。通過橫向連線,使得fpn在後面的**階段能夠結合了之前的特徵抽取階段的特徵。
在resnet等網路中,後面的高層語義同樣也與前面的底層特徵相連線。既然抽取特徵的階段也是一層一層抽取的,為什麼不直接在每層順便做**或者後續的檢測等任務呢?下面這篇文章的一句話給出了解釋。因為在抽取特徵階段,不同層對應的是不同層次的語義資訊。如果直接做**,這就強行讓不同層學習同樣的語義資訊了,效果可能不是很好。
cvpr 2017**解讀:特徵金字塔網路fpn
在fpn原文中,作者把fpn分別應用在rpn和fast rcnn兩步,都取得了不錯的效果。
聽名字就知道,這個full conv network為基礎的檢測網路,沒有全連線層。如下圖所示,在backbone提取的feature maps上,用k^2(c+1)個卷積核,得到乙個score maps。然後利用fpn找到roi,做roi pooling。這種方法不像faster rcnn,需要對每個roi分別再單獨計算。
小樣本目標檢測研究現狀
標檢測任務是計算機視覺的基礎任務之一,主要任務是對影象中的目標進行分類和定位。但是現有的目標檢測任務基於大量的標註的影象進行訓練,限制了某些場景下的應用和推廣。通過應用較少的標註資料的半監督方法或者利用不完全匹配的標註資料的弱監督方法,利用極少的標註資料學習具有一定泛化能力的模型顯得較為重要,這也是...
目標檢測技術調研
由於工作需要,這段時間對目標檢測技術進行了調研。主要是對目標檢測的發展大致進行了了解。因為任務中混雜了目標檢測與目標識別,我也查閱了一些資料對這兩個名詞進行區分。以下均為個人見解,如有錯誤還請指出。首先對兩個名詞進行解析 目標檢測和目標識別。目標檢測的目的是確定某張給定影象中是否存在給定類別 比如人...
資料現狀調研提綱
資料現狀調研提綱 1.目前主要有幾類資料?從什麼平台產生?分別是什麼儲存介質?各類資料的資料量級?2.基礎資料的現狀 對於跨業務系統的基礎資料 人員資訊 產品資訊等 是否有主資料系統進行管理 or 分散在不同的業務系統各自維護?3.是否有管理資料的部門或團隊?資料管理的模式?有部門統一管理還是分散在...