本文對多目標檢測方法soart進行了翻譯
文章的重點是有效地處理幀與幀之間的關聯。
使用卡爾曼濾波器處理跟蹤問題的運動**
使用匈牙利演算法處理資料關聯分量
文章只針對各種環境下的行人跟蹤,但是根據cnn
網路靈活性,可以應用到其他目標的跟蹤。
1. 文章是基於
cnn的在多目標跟蹤
2. 提出了一種基於卡爾曼濾波和匈牙利演算法的實用跟蹤方法,並在最近的
mot(多目標跟蹤)基準測試上進行了評估。
3. **開源
綜述:
匈牙利演算法被分為兩步:首先軌跡片段立在相鄰幀的關聯檢測上,其中幾何形狀和外觀線索結合起來形成親和矩陣。然後,這些軌跡片段相互關聯,再次使用幾何和外觀線索,將由遮擋引起的斷裂軌跡連線起來。這兩個步驟決定了這種方法不能用於批量計算。
該方法由目標檢測、將目標狀態傳播到未來幀(**模型)、將當前的檢測結果與現有目標相關聯(資料關聯)、管理被跟蹤目標的生命週期(建立和刪除跟蹤標識),4
個關鍵部分組成。
目標檢測:使用fater-rcnn
框架。改框架由兩個階段組成。第一階段提取特徵並根據特徵劃分出區域,第二階段對劃分出的區域內的物件進行分類。兩個階段之間共享引數。
目標狀態**模型:
將目標當前的表徵和運動模型傳播到下一幀。我們用乙個不依賴於其他物體和相機運動的線性等速模型來近似表示每個被跟蹤的目標在的幀之間的位移。每個目標的狀態建模如下:
其中u和v分別代表目標中心畫素的水平和垂直位置,尺度s和
r分別表示目標包圍框的尺度(面積
)和長寬比,長寬比
r為常數。當目標檢測與目標跟蹤相關聯時,檢測到的邊界框用於更新目標狀態,其中速度分量通過卡爾曼濾波框架得到最優解。如何檢測到的目標沒有與目標跟蹤相關聯,那麼利用線速度模型對其狀態進行簡單**,無需修正。
資料關聯:
在對現有目標分配檢測時,通過**目標在當前幀中的位置來估計每個目標的邊界框幾何形狀。然後為每個檢測到的目標與現有目標的所有**邊界框之間的iou
分配成本矩陣計算。採用匈牙利演算法優化求解。
**通過目標邊界框的iou距離能夠解決短期的目標遮擋問題。具體地說,當目標被遮擋物件覆蓋時,只有遮擋物體被檢測到,因為iou距離適合於具有相似尺度的檢測。這使得遮擋物體可以通過檢測得到校正,而被覆蓋的目標不受影響,因為沒有賦值。
建立和刪除跟蹤標識模型:
當目標進入或離開監控區域時,需要建立或撤銷目標的跟蹤標識。當檢測到乙個目標的iou與已有目標的iou重合度小於一定的閾值時,就認為該目標為新的未被跟蹤目標,此時要建立跟蹤標識。新發現的目標用矩形框標註並將速度分量設為0。由於此時速度並沒有被觀測到,具有不確定性,因此速度分量的協方差用較大的值初始化。此外,新產生的跟蹤標識還需要經過一段試用期,在此期間,需要對目標進行檢測,以便提取目標足夠的特徵資訊防止跟蹤錯誤。
在對乙個目標跟蹤的過程中,若目標丟失,並且在經過了tlost(閾值引數)幀後仍然沒有發現目標,則放棄跟蹤。這就防止了***(跟蹤標識框)數量的無限制增長,以及目標特徵引數長時間沒有被檢測器(faster-cnn目標檢測)修正而導致的定位錯誤。在實驗中tlost被設定為1,有兩個原因。首先,靜態速度模型不能很好地**真實的動態速度,其次,我們主要關注的是幀與幀之間的跟蹤,其中物件的重新識別超出了本工作的範圍(犧牲準確率以換取效率)。此外盡早刪除丟失的目標有助於提高跟蹤效率。如果被判定為丟失的目標再次出現,則系統會將它看作乙個新的目標進行跟蹤。
多目標跟蹤
目前參與的乙個專案是 足球事件檢索 事件是乙個 high level 概念,需要基於一些 low level 資訊來做。後者主要就是一些影象處理的東西了。兩個 level 之間,會有一些中間層的資訊,比如足球的走向。根據師兄的建議,可以考慮對足球場上的運動員進行多目標跟蹤,在跟蹤軌跡的基礎上抽取一些...
多目標跟蹤演算法評價指標
單目標跟蹤演算法的評價指標不用我多說,因為其跟蹤情況較為簡單,已經有較為明確的判斷指標,但是一直以來,多目標跟蹤的評價指標都未統一,跟蹤演算法的 中也是用各種評價指標來分析自身的演算法,但是缺少與其它演算法的橫向比較,孰優孰劣不得而知。因為自己的畢業課題設計到這塊,需要找到一種相對來說大家用的較多的...
多目標跟蹤資料關聯演算法
多目標跟蹤資料關聯演算法 在單目標無雜波環境下,目標的相關波門內只有乙個點跡,此時只涉及跟蹤問題。在多目標情況下,有可能出現單個點跡落入多個波門的相交區域內,或者多個點跡落入單個目標的相關波門內,此時就會涉及資料關聯問題。資料關聯問題就是建立某時刻雷達量測資料和其他時刻量測資料的關係,以確定這些量測...