這是來自商湯的一篇文章 發表在cvpr2018上 **位址
目錄：
3.siamese-rpn framework
4. tracking as one-shot detection
5. 實驗
6. 結論
作者說現代的***分為兩個分支，乙個是基於相關濾波器的方法，不再贅述；另乙個是利用非常好的深度特徵的方法，此方法不更新模型，所以效能方面不如基於相關濾波的方法。當然，如果微調網路的話，速度會變得非常慢。
本文是離線訓練好的基於深度學習***，主要是提出了siamese-rpn結構，不同於標準的rpn，作者在相關特徵圖譜上提取候選區域，然後作者將模板分支上的目標外觀資訊編碼到rpn特徵中來判別前景和背景。
在跟蹤階段，作者將此任務視為單目標檢測任務（one-shot detection），什麼意思呢，就是把第一幀的bb視為檢測的樣例，在其餘幀裡面檢測與它相似的目標。
綜上所述，作者的貢獻有以下三點：
提出了siamese region proposal network，能夠利用ilsvrc和youtube-bb大量的資料進行離線端到端訓練。
在跟蹤階段將跟蹤任務構造出區域性單目標檢測任務。
在vot2015, vot2016和vot2017上取得了領先的效能，並且速度能都達到160fps。
說了這麼多，那到底什麼是rpn呢？
rpn即region proposal network，首先是在faster-rcnn中提出的，用於目標檢測。分為兩個支路，乙個用於分類前景和背景，乙個用於邊界框回歸。
通俗來講，就是用rpn來選擇感興趣區域的，即proposal extraction。例如，如果乙個區域的p>0.5，則認為這個區域中可能是我們想要的類別中的某一類，具體是哪一類現在還不清楚。到此為止，網路只需要把這些可能含有物體的區域選取出來就可以了，這些被選取出來的區域又叫做roi （region of interests），即感興趣的區域。當然了，rpn同時也會在feature map上框定這些roi感興趣區域的大致位置，即輸出bounding box。
這篇文章有詳細的講解：
不得不去了解的幾個知識有：
翻譯為錨點框，就是通過rpn對每個錨點上的k個矩形分類和回歸，得到感興趣區域。每個anhcor box要分前景和背景，所以cls=2k；而每個anchor box都有[x, y, w, h]對應4個偏移量，所以reg=4k
對每個錨點上預定義的k個框進行邊界框回歸，來更好的框住目標，具體操作會在後文講。
左邊是孿生網路結構，上下支路的網路結構和引數完全相同，上面是輸入第一幀的bounding box，靠此資訊檢測候選區域中的目標，即模板幀。下面是待檢測的幀，顯然，待檢測幀的搜尋區域比模板幀的區域大。中間是rpn結構，又分為兩部分，上部分是分類分支，模板幀和檢測幀的經過孿生網路後的特徵再經過乙個卷積層，模板幀特徵經過卷積層後變為2k*256通道，k是anchor box數量，因為分為兩類，所以是2k。下面是邊界框回歸支路，因為有四個量[x, y, w, h]，所以是4k.右邊是輸出。
預訓練的alexnet，剔除了conv2 conv4兩層
φ (z
)φ(z
)φ(z
)φ(z)φ(z) \varphi(z)
φ(z)φ(
z)φ(
z)w
學習筆記18 SiamRPN
high performance visual tracking with siamese region proposal network 本文主要提出siamese region proposal network siamese rpn 包含siamese子網路用於特徵提取，以及候選區域生成網路 ...
閱讀任務 閱讀筆記 4
功能驅動的設計 1 構造總體模型 2 構造功能列表 3 制定開發計畫 4 功能設計階段 5 實現具體功能 軟體測試按目的分類 1 功能測試 2 非功能測試 軟體測試的各種方法 1 單元測試和 覆蓋率測試 2 構建驗證測試 3 驗收測試 4 探索式的測試 5 回歸測試 6 場景 整合 系統測試 7 夥...
閱讀筆記 2006 01
請您尊重您的價值，因為它已經得到了社會的認可。當你貶低或破壞您的價值時，就等於貶低或破壞整個行業在這個社會的價值。無論在什麼時候，自己都應該尊重自己的價值，而不能因為一時的困境而貶低和破壞了自己的價值，因為你的破壞之舉，將傷害到整個行業的價值乃至社會的規則。因為，唯有懂得尊重自己的價值的人，才能真正...