小樣本物體檢測

2021-10-10 03:05:46 字數 2743 閱讀 5159

出發點:不同屬性以不同的權重組合,可以定義乙個類別,所以檢測特徵是否屬於某一類,只要檢測特徵對屬性的響應度就可以。特徵 —> 屬性 —> 類別

網路的整體框架:

通過feature extractor提取待檢測特徵,每個通道表示乙個屬性。

通過reweighting module提取查詢類別的特徵過濾器,如圖中,每個值過濾乙個屬性。

使用每個類別的特徵過濾器過濾待檢測特徵,得到待檢測與每個類別的響應特徵,每個通道表示乙個屬性。

對每個響應特徵進行分類檢測

完成檢測

關鍵:提出了乙個小樣本資料集:資料集

步驟:提取support img為一過濾特徵

使用support img的特徵來過濾query img,最後將過濾後的特徵輸入rpn網路中

rpn網路層的輸出,會進行多頭判斷,使用全域性資訊檢測,使用區域性資訊檢測,一對多檢測

目標:解決增量學習的小樣本物體檢測

關鍵點:引數**的元學習;增量學習;centrenet;

centrenet是乙個one-stage;anchor-free的物體檢測器,並且每個類別對應乙個檢測類別,即每個類別對應一組分類引數,這種操作易於做小目標的增量學習。

步驟:在第一階段使用大量的base類訓練網路的特徵提取以及base類的分類器

在第二階段,凍結特徵提取模組的引數,基於base類構建大量task,以base類的分類引數作為label,使用元學習的方式訓練分類引數生成器,在完成訓練後class code generator模組能夠根據少量的樣本生成類別的分類引數。

完成訓練

目標:解決小樣本檢測中的尺度分布不均衡問題;現有的特徵金字塔與影象金字塔都不能很好的解決;

解決方案:通過在faster-rcnn網路中融合改進的fpn網路,使模型整體能夠捕捉不同觸尺度的資訊。換句話說,就是將影象金字塔與特徵金字塔融合在小樣本物體檢測中

步驟:通過在faster r-cnn網路中加入fpn網路,使模型能夠捕捉不同級別的特徵。

使用refinement branch配合影象金字塔調整fpn網路,使模型能夠捕捉不同影象尺度的特徵。refinement branch的輸入是同一物體不同尺度的影象,並且不同尺度與fpn不同級別的特徵進行了強制**。

對於3232的影象輸入,使用fpn中的p2對原始rpn進行調整,使用p2對原始roi進行調整*

最後,在完成訓練後,fpn已經具備捕捉不同尺度目標的能力,refinement branch會被移除。(refinement branch與faster r-cnn中的fpn是共享引數的)

構建task,k-way,n-shot

使用faster rcnn對task中support-set中的提取候選框,理想情況下,每個候選框應該對應乙個物體。

對每個support-set中的所有候選框,根據其對應的類別歸類取平均,由此得到每個類別對應的的原型。參考prototypical networks。

使用同樣的faster rcnn提取query-img的特徵,並用第三步得到的原型對其進行過濾,留下相關的特徵,過濾掉無關的特徵,最終會得到k個class-specific feature map。

將class-specific feature map送入rpn網路,產生query-img對每個類別的候選框,在原始query-img特徵上進行裁剪後,使用原型特徵再度增強。

使用最後增強後的特徵計算分類損失與回歸損失。

關鍵點:基於引數**的元學習;category-agnostic與category-speific引數

中心思想:將物體檢測的引數分為category-agnostic與category-speific,前者在base類和novel類中通用,後者需要通過元學習來生成。

模型整體訓練過程沒整明白,總體來說就是,首先基於大量資料訓練得到category-agnostic與category-speific兩種引數,然後對category-agnostic在測試新類時可以直接使用。而新類的category-speific引數是通過元學習訓練乙個t模組得到。但是細節方面,著實搞不明白這篇**。比較比較有意思的就是引數**模組,使用這種方式的元學習相對來說在目標檢測領域還是少的,可以借鑑。

平面物體檢測

這個教程的目標是學習如何使用 features2d 和 calib3d 模組來檢測場景中的已知平面物體。測試資料 資料影象檔案,比如 box.png 或者 box in scene.png 等。建立新的控制台 console 專案。讀入兩個輸入影象。mat img1 imread argv 1 cv...

DPM物體檢測相關

deformable parts model dpm 簡介 dpm deformable part model 模型結構初解 關於dpmv5 deformable part model 演算法中model結構的解釋 把訓練出來的模型檔案.mat格式轉為.txt格式的 hog 用於人體檢測的梯度方向直...

物體檢測網路概述

yolo 實時快速目標檢測 yolo詳解 傳統目標檢測系統採用deformable parts models dpm 方法,通過滑動框方法提出目標區域,然後採用分類器來實現識別。近期的r cnn類方法採用region proposal methods,首先生成潛在的bounding boxes,然後...