本文是tracking by detection 方法進行多目標跟蹤的文章,最大的特點是使用了state-of-the-art的detection和feature來代替以往的方法,使用簡單的匹配方法就能達到最好的水平。
detection部分
文章針對mot16所使用的mota指標中的fp與fn,使用faster r-cnn + skip pooling + multi-region 的方法來結合多尺度特徵,從而降低fp與fn。
online tracker
使用kalman濾波來**track,使用 kuhn-munkres 演算法來進行結合track和detection (與sort類似,不同的是sort使用了hungarian演算法來匹配),具體步驟見下:
使用 kuhn-munkres 演算法來匹配track和detection。由於km演算法是全域性優化演算法,在一些detection遺失時會出錯。因此我們使用兩步匹配的策略,首先根據閾值t
t=0.5將track分為高質量的track和低質量的track(大於閾值為高質量,小於為低質量);然後首先匹配高質量的track和detection,再匹配前一步剩下的和低質量的track。track的質量計算如下,其中couples(trackleti)包含了過往的所有匹配成功的track與detection的關聯度:
具體流程見下表,其中w
offline tracker 是基於h2t的改進版本,主要使用了k-dense neighbors搜尋演算法,具體步驟見下:
文章結果
人臉跟蹤 sort多目標跟蹤
多目標跟蹤中sort演算法的理解 在跟蹤之前,對所有目標已經完成檢測,實現了特徵建模過程。1.第一幀進來時,以檢測到的目標初始化並建立新的 標註id。2.後面幀進來時,先到卡爾曼濾波器中得到由前面幀box產生的狀態 和協方差 求 所有目標狀態 與本幀檢測的box的iou,通過匈牙利指派演算法得到io...
多目標跟蹤
目前參與的乙個專案是 足球事件檢索 事件是乙個 high level 概念,需要基於一些 low level 資訊來做。後者主要就是一些影象處理的東西了。兩個 level 之間,會有一些中間層的資訊,比如足球的走向。根據師兄的建議,可以考慮對足球場上的運動員進行多目標跟蹤,在跟蹤軌跡的基礎上抽取一些...
deepsort多目標跟蹤
題目 online and realtime tracking with a deep association metric deepsort是在sort目標追蹤基礎上的改進。引入了在行人重識別資料集上離線訓練的深度學習模型,在實時目標追蹤過程中,提取目標的表觀特徵進行最近鄰匹配,可以改善有遮擋情況...