標檢測任務是計算機視覺的基礎任務之一,主要任務是對影象中的目標進行分類和定位。但是現有的目標檢測任務基於大量的標註的影象進行訓練,限制了某些場景下的應用和推廣。
通過應用較少的標註資料的半監督方法或者利用不完全匹配的標註資料的弱監督方法,利用極少的標註資料學習具有一定泛化能力的模型顯得較為重要,這也是小樣本學習的所需要解決的問題。
人類視覺可以通過對新事物極少的學習就可以獲得永久的記憶能力。傳統的目標檢測方法需要借助大量的資料獲得具有一定泛化能力的模型在新資料中取得應用。
如圖所示的就是乙個比較經典的小樣本檢測方法,基於包含充足資料的基類,模型試圖學習一定的泛化能力,並僅靠極少數的標註資料在新類上進行測試。通過巧妙的設計訓練方法,模型及loss,引導模型在極少量標註資料中學習具有一定泛化能力的檢測模型。
在小樣本檢測中不得不提的是c-way k-shot問題。在元訓練階段,首先從訓練集中隨機抽取c個類別,每個類別包含k個樣本,構成模型的支撐集,即為乙個元任務。目的是為了使得模型從c x k個資料中學習識別c個類別(k值很小,通常k<10)
按照解決方案分為四類:
基於度量學習
基於元學習
基於資料增強
基於多模態的方法
從改善模型框架入手,對於輸入影象在訓練階段,模型頭部輸出兩個樣本屬於同一類別的概率;在測試階段,模型輸出測試樣本與支撐集所有樣本屬於同一類別的概率,最高概率所對應的類別即為最後的結果。匹配網路支撐集和查詢影象採用不同的特徵提取器,分類結果由查詢影象與支撐集所有樣本的**值的加權得到。
利用記憶增強網路(lstm,rnn等)
通過資料增強來彌補資料量不充足的問題,擴充少量原始樣本
在少量樣本的情況下引入其他模態資訊進行融合
基於微調的方法
基於模型的方法
基於度量學習的方法
基於微調的遷移學習的方法,首先在大規模資料集上進行學習源域模型,並使用該模型引數初始化目標域模型,之後在小規模資料集上進行微調。
構建新的目標檢測模型來解決小樣本目標檢測的問題
基於度量學習的方法,模型由基本檢測模型和元模型組成,基礎模型在基礎訓練中提供基礎類的特徵,元模型學習基礎特徵用於輸入影象的重要權重係數,進而調整基礎特徵重要程度在小樣本上進行檢測。
1、依賴於傳統的目標檢測領域中經典成熟的方法,但是後續的推理速度緩慢,不能滿足實時性需求。
2、現有的方法泛化效能差強人意,隨小樣本類別增加,效果下降明顯
目標檢測研究現狀調研
近期在調研目標檢測的研究現狀,包括two stage和one stage,以及anchor based和anchor free。把用到的一些鏈結記錄一下 方便查閱。從錨點到關鍵點,最新的目標檢測方法發展到哪了 這篇文章介紹了目標檢測方法從anchor based到anchor free的發展,並指出...
小樣本物體檢測
出發點 不同屬性以不同的權重組合,可以定義乙個類別,所以檢測特徵是否屬於某一類,只要檢測特徵對屬性的響應度就可以。特徵 屬性 類別 網路的整體框架 通過feature extractor提取待檢測特徵,每個通道表示乙個屬性。通過reweighting module提取查詢類別的特徵過濾器,如圖中,每...
目標檢測中的正負樣本
以人臉識別為例,如果你的任務是識別教室中的人臉,那麼負樣本的選取應該是教室中的窗戶 椅子 牆 人的身體 衣服顏色等等,而不是天空 月亮這些對本任務沒有幫助的場景。當然,如果不確定應用環境,那麼應該選取盡可能有不同光照不同環境的自然影象作為負樣本。個人理解的正樣本就是任務所要檢測的目標物,比如在人臉識...