計算機視覺 三代物體檢測 簡要總結

2021-09-11 11:32:42 字數 1115 閱讀 8911

特徵提取: selective search: 小區域 合併 大區域    ;小框  合併 大框  ;

所有的框  都跑一遍 卷積神經網路   特徵提取   固化  分類,回歸(定位)

慢,開篇之作,低效

問題:時間很長,每個小框都要跑一次神經網路,加上分類器

解決:先進行卷積(共享)

先對整個圖跑一遍神經網路,卷積

再把框對映過來到特徵圖  在進行特徵提取,分類回歸softmax

效果:比r-cnn好很多

r-cnn

fast r_cnn

training time

84h9.5h

speed up

1x8.8x

test time per image

47s0.32s

speedup

1x146x

問題:還是要進行selective search

很費時間

改進:把找框的工作也放到卷積神經網路,region proposal network (rpn)(核心改進),什麼是前景(物體),什麼是背景(不是物體)

如何提取:

生成很多框

可能符合標準,可能不符合,可能比較大,也可能比較小

三種比例,1:1, 2:1, 1:2       ()128:128,    128:256,    256:128)  9個anchors

基數:128,256,512 生成常規框,怎麼變換才能是乙個前景,物體

rpn層:對乙個點進行特徵提取,分類回歸操作,判斷是不是物體,以及bbox location regression 

之後   和fastr_cnn相同

r-cnn

fast r-cnn

faster r-cnn

test time per image (with proposals)

50 second

2s0.2s

speed up

1x25x

250x

map(vpc 2007)

66.0

66.9

66.9

準確率相同,但是速度高了很多

三代物體檢測  **最好看一看  直接看faster r-cnn

計算機視覺 物體檢測之RefineDet系列

二階段的分類 二步法的第一步在分類時,正負樣本是極不平衡的,導致分類器訓練比較困難,這也是一步法效果不如二步法的原因之一,也是focal loss的motivation。而第二步在分類時,由於第一步濾掉了絕大部分的負樣本,送給第二步分類的proposal中,正負樣本比例已經比較平衡了,所以第二步分類...

計算機視覺(三)

1 sigmoid函式不再適用的原因 1 在某些情況下梯度會消失,不利於反向傳播,例如,當輸如的值過大或過小時,根據函式的影象,返回的梯度都會是0,阻斷了梯度的反向傳播。2 不是以0為中心,梯度更新低效 拿sigmoid舉例,不是以零為中心,會造成其反向傳播的導數不是正就是負,假設w是乙個二維向量,...

計算機視覺(三) HSV

hsv hue,saturation,value 是根據顏色的直觀特性由a.r.smith在1978年建立的一種顏色空間,也稱六角錐體模型 hexcone model 這個模型中顏色的引數分別是 色調 h 飽和度 s 明度 v 用角度度量,取值範圍為0 360 從紅色開始按逆時針方向計算,紅色為0 ...