運動目標跟蹤(八) 時空上下文 STC 跟蹤原理

2021-07-16 17:45:02 字數 1910 閱讀 9655

從原理可以看出,stc在相機運動環境中,效果不會太好,尤其是在高速運動環境下。因為高速運動環境,背景幾乎與前景一起運動,這與其核心原理是違背的,其次,時間上下文關係,也是低速環境下的經驗值,實際會出現跟不上的問題(完全與時間上下文相關的引數有關)。

其優點在於固定背景下,遮擋問題的魯棒性。

演算法的計算過程主要是利用了

傅利葉快速變換

,目前作者已經提供了matlab源**,

該**在i7機器上執行速度可以達到350fps,速度效果著實明顯!同時,在部落格 

上,博主給出了他寫出的單尺度c++版stc**。在本篇部落格的最後,我也對**進行了整理,完善,**中有什麼不足的地方,希望大家能夠積極指正

。本**官方主頁:

視覺跟蹤領域中,由我們感興趣的目標物體與它附近一定區域範圍內的背景共同組成區域性上下文(見下圖紅色框)。因此,區域性上下文在連續幀中存在著很強的時空關係。例如,圖中女生的臉部發生了明顯的遮擋現象,但是對於區域性區域來說,只是一部分發生了變化,背景以及遮擋部分與背景之間的相對位置並未發生明顯改變,利用這一點,區域性上下文就可以在下一幀幫助**到目標出現的位置。

通常來說,時間上下文幫助我們目標位置,而空間上下文則能提供更精確的資訊幫助我們區分目標和背景。利用時空上下文可以實現快速,魯棒的跟蹤物體,其基本的演算法流程如下:

1)基於目標與它區域性區域內背景的空間關係建立乙個空間上下文模型。

2)利用空間上下文模型對下一幀的時空上下文模型進行更新。

結合時空上下文資訊,對影象進行卷積操作,獲得置信圖,並求得它的最大似然概率位置作為最佳目標位置。

上面一部分提到了要獲得目標的跟蹤位置,我們需要獲得當前幀的置信圖。**中給出了置信圖的公式:

x表示目標位置,o表示目標出現。假定當前幀中,我們已經知道了目標位置為x*,則從影象中我們可以獲得特徵:

上述公式中,我們可以看到c(x)分成了兩部分相乘,其中  條件概率p(x|c(z),o)對目標和它的上下文資訊進行了空間關係建模,這也是整個演算法過程中的主要環節。而上下文先驗概率p(c(z)|o)對區域性上下文資訊進行了建模(見上圖),也即是,區域性區域內每個點z為目標的概率。

以下就公式中具體的每個環節進行分析,結合整體流程更利於理解該演算法,首先,先列出演算法的整體執行流程:

公式:分析:條件概率函式表示了目標位置x*與區域性區域內點z之間的相對距離以及方向關係,因此反映了目標與周圍區域的空間關係。由於

公式:分析:i(z)表示z處的灰度值,

公式:分析:**中這部分主要是對引數beta進行了討論,經過實驗論證,認為beta=1時,跟蹤的結果最魯棒;

公式:

分析:只要我們獲得了置信圖以及上下文先驗概率模型,我們就可以獲得空間上下文先驗模型。通過傅利葉變換,將上述公式轉換到頻率域進行運算,即:

我們假定在第一幀時已經通過手動或者一些檢測演算法對跟蹤目標進行了選取。在第t幀時,我們得到此時的空間上下文模型

尺度更新:

運動目標跟蹤

運動目標跟蹤 mot 子系統 也稱為移動障礙物的檢測器和 datmo 負責檢測和跟蹤自動駕駛汽車周圍環境中移動的障礙物的姿態。這個子系統對於讓自動駕駛汽車決定如何行動以避免與可能移動的物體 如其他車輛和行人 相撞至關重要。移動障礙物在一段時間內的位置通常是由測距感測器 如雷射雷達和雷達 或立體和單目...

運動目標跟蹤(十四) MIL跟蹤

原文 文章 robust object tracking with on line multiple instance learning boris babenko,student member,ieee,ming hsuan yang,senior member,ieee and serge be...

八 時間序列

時間序列 datetime.datetime 2011 02 31 產生乙個datetimeindex物件 pd.datetimeindex 時間範圍 pd.date range start 4 1 2012 periods 20 時間戳 pd.timestamp 2011 03 12 04 20 ...