運動目標跟蹤
(mot)
子系統(
也稱為移動障礙物的檢測器和***
- datmo)
負責檢測和跟蹤自動駕駛汽車周圍環境中移動的障礙物的姿態。這個子系統對於讓自動駕駛汽車決定如何行動以避免與可能移動的物體
(如其他車輛和行人
)相撞至關重要。
移動障礙物在一段時間內的位置通常是由測距感測器
(如雷射雷達和雷達
)或立體和單目攝像機捕獲的資料來估計的。單鏡頭相機的影象提供了豐富的外觀資訊，可用於改善運動障礙的假設條件。為了應對感測器測量的不確定性，狀態**採用貝葉斯濾波
(如卡爾曼濾波和粒子濾波)
提出了多種
mot方法。主要分為傳統的、基於模型的、基於立體視覺的、基於網格對映的、基於感測器融合的和基於深度學習的六類。在這裡，我們介紹了最近十年發表的相關**。早期作品參考
petrovskaya
等人(2012)
、bernini
等人(2014)
、girao
等人(2016)
基於傳統的
mot
傳統的mot方法主要有三個步驟:資料分割、資料關聯和過濾(petrovskaya et al.， 2012)。在資料分割步驟中，利用聚類或模式識別技術對感測器資料進行分割。在資料關聯步驟中，使用資料關聯技術將資料片段與目標(移動障礙物)關聯起來。在濾波階段，對每個目標，利用分配給目標的資料的幾何平均值來估計其位置。位置估計通常由卡爾曼或粒子濾波器更新。amaral等人(2015)提出了一種使用3d雷射雷達感測器檢測和跟蹤移動車輛的傳統方法。利用歐幾里得距離將三維雷射雷達點雲分割成點簇。當前掃瞄感測器中觀察到的障礙物(簇)與之前掃瞄中使用最近鄰演算法觀察到的障礙物相關聯。利用粒子濾波演算法估計障礙物的狀態。速度超過給定閾值的障礙物被認為是機動車輛。zhang et al.(2013)為每個集群構建乙個立方體包圍盒，並使用盒的尺寸來區分集群是否為車輛。資料關聯是通過運算優化演算法來解決的。多元假設跟蹤(mht) 演算法用於減少關聯誤差。
hwang
等人(2016)
利用單目相機捕捉的影象，提取出不屬於移動物體
(行人、騎自行車者和車輛
)的三維雷射雷達點。濾波後，利用從影象和三維點提取的特徵，基於段匹配技術進行目標跟蹤。
基於模型的
mot
基於模型的方法直接從感測器資料推斷出感測器的物理模型和物件的幾何模型，並使用非引數濾波器(如粒子濾波)(petrovskaya et al.， 2012)。不需要資料分割和分割步驟，因為幾何物件模型將資料與目標關聯起來。petrovskaya,thrun(2009)提出了自動駕駛汽車junior (montemerlo et al.， 2008)所採用的基於模型的檢測和跟蹤移動車輛的方法(stanford university』s car，在2023年darpa城市挑戰賽中獲得第二名)。在連續掃瞄之間，利用雷射雷達資料的差異來檢測運動的連續性假設。新的感測器資料不是分離資料段和關聯步驟，而是通過更新每個車輛目標的狀態來合併新的感測器資料，包括車輛的姿態和幾何形狀。這是通過一種混合形式實現的，它結合了卡爾曼濾波器和rao-blackwellized par- ticle濾波器(rbpf)。彼得羅夫斯卡婭的作品thrun(2009)是由he等人(2016)修訂的，他們提出將rbpf與尺度級數粒子濾波(sspf)相結合，用於幾何擬合和整個跟蹤過程中的運動估計。幾何圖形變成了乙個可跟蹤的變數，這意味著它以前的狀態也被用來**當前的狀態。,aycard(2009)提出了一種基於模型的mot方法，該方法的目標是在給定雷射測量時間滑動視窗的情況下，找出移動障礙物的最可能軌跡集(軌跡)。軌跡是一組物體形狀(l形、i形和質點)，由乙個物體在一段時間內產生，滿足從一幀到另一幀的測量模型和運動模型的約束條件。由於這種方案的計算複雜度高，他們採用了資料驅動的馬爾可夫鏈蒙特卡羅(dd-mcmc)技術，能夠充分遍歷解空間以找到最優解。dd-mcmc的設計目的是對一組軌跡的概率分布進行抽樣，給定一段時間間隔內的一組觀察結果。新的候選狀態以給定的概率被接受。為了給dd-mcmc提供初步的建議，從雷射測量中檢測到的動態分割落在占用網格地圖的自由或未探索區域，並通過
將預定義的物件模型擬合到動態段中來生成移動障礙假設。wang et al.(2015)對基於模型的方法採用了相似的方法，但是他們沒有假設移動物件的先驗類別。貝葉斯濾波器負責聯合估計感測器的姿態、靜態區域性背景的幾何形狀以及物件的動態和幾何形狀。幾何資訊包括用2d雷射雷達獲得的邊界點。基本上，該系統通過迭代更新跟蹤狀態並將新測量值與當前值關聯來執行。分層資料關聯有兩個層次。在第乙個層次，新的觀察(即點的集合)與當前的動態或靜態目標相匹配。在第二層，更新障礙物的邊界點。
立體視覺的mot
基於網格地圖的mot
網格地圖方法首先構建動態環境的占用網格地圖(petrovskaya et al.， 2012)。地圖構建步驟之後是資料分割、資料關聯和過濾步驟，以提供場景的物件級表示。nguyen等人(2011)提出了一種基於網格的運動檢測和跟蹤方法。他們的工作重點是行人的檢測和跟蹤。利用立體影象對重建三維點。利用反感測器模型，根據相關的三維點估計網格圖中每個單元的占用概率。採用層次分割的方法，根據網格間的區域距離將網格劃分為若干塊。最後，將互動式多模型方法應用於運動物體的跟蹤。azim,aycard(2014)使用基於octree的3d區域性占用網格地圖，將環境劃分為occu- pied、free和unknown voxels。在區域性網格地圖構建完成後，可以根據區域性網格地圖中觀察到的自由空間和被占領空間之間的不一致性來檢測移動的障礙物。動態體素被聚集成移動的物件，這些物件被進一步劃分為層。使用從每一層中提取的幾何特徵，將移動的物件劃分為已知的類別(行人、自行車、汽車或公共汽車)。ge等人(2017)利用2.5d網格地圖對靜態背景建模並檢測移動障礙物。網格單元儲存二維投影到網格空間域中的三維點的平均高度。從當前網格與背景模型之間的狀態狀態狀態中檢測運動假設。
基於感測器融合的mot
感測器融合方法融合各種感測器(如:雷射雷達、雷達和相機)的資料，以提高其個體特徵和改善環境感知。darms等人(2009)提出了自動駕駛汽車boss採用的基於感測器融合的檢測和跟蹤移動車輛的方法(urmson等人，2008)(卡內基梅隆大學的汽車，在2023年darpa城市挑戰賽中獲得第一名)。mot子系統分為兩層。感測器層從感測器資料中提取特徵，這些特徵可以根據點模型或盒模型來描述移動的障礙物。感測器層還試圖將特徵與融合層當前**的假設聯絡起來。與現有假設不相關的特徵被用來產生新的建議。對與給定假設相關的每個特徵生成乙個觀察結果，封裝了更新假設狀態估計所需的所有資訊。融合層根據感測器層提供的建議和觀測，為每個假設選擇最佳跟蹤模型，並使用卡爾曼濾波對假設狀態進行估計(或更新估計)。cho等人(2014)描述了卡內基梅隆大學新型實驗自動駕駛汽車使用的新型mot子系統。先前由darms等人(2009)提出的mot子系統被擴充套件到利用相機資料，以識別移動物件的類別(如汽車、行人和行人)，並增強來自汽車級主動感測器(如lidars和雷達)的測量。mertz等人(2013)使用的掃瞄線可以直接從2d li- dars，從3d lidars在2d平面上的投影，或從多個感測器(雷射雷達、雷達和相機)的融合中獲得。掃瞄線被轉換成世界座標並分段。提取每個線段的線特徵和角特徵。路段與現有的障礙和kine- matics的物件更新使用卡爾曼濾波。na et al.(2015)將多感測器(如雷達、2d lidars和3d lidar)產生的移動障礙物合併軌跡。將二維雷射雷達資料投影到二維平面上，利用聯合概率資料關聯濾波器(jpdaf)跟蹤運動物體。將三維雷射雷達資料投影到影象上，利用區域生長演算法分割成運動的障礙物。最後，使用迭代最近點匹配或基於影象的資料作為關聯，對航跡姿態進行估計或更新。xu等人(2015)描述了卡內基梅隆大學的新型自動駕駛汽車使用的移動障礙物保持距離的上下文感知跟蹤。在給定的行為環境下，在道路網路工作中產生roi。找到感興趣區域內的候選目標，並將其投影到道路座標中。距離保持目標是通過關聯來自不同感測器(雷達、雷達和相機)的所有候選目標而獲得的。xue等(2017)融合了雷射雷達和攝像機資料，提高了行人檢測的準確性。他們利用行人高度的先驗知識來減少誤檢。他們根據針孔相機方程估計行人的交流高度，該方程結合了相機和雷射雷達的測量資料。
基於dl的方法
使用深度神經網路來檢測移動障礙物的位置和幾何形狀，並根據當前的攝像機資料跟蹤它們的未來狀態。hu- val et al.(2015)提出了一種基於神經網路的車輛運動檢測方法，該方法使用了overfeat卷積神經網路(cnn) (sermanet et al.， 2013)和專注於實時效能的單眼輸入即時資訊。overfeatcnn的目標是**位置和距離(深度)的汽車在同一駕駛方向的自我車輛只使用他們的後視鏡。mutz等人(2017)提出了乙個密切相關的應用程式follow the leader的移動障礙物- cle跟蹤，該應用主要與自動駕駛汽車的車隊相關。跟蹤方法建立在使用回歸網路(goturn)的一般物件跟蹤的基礎上(held et al.， 2016)。goturn是一種預先訓練好的深度神經網路，能夠在不需要進一步訓練或特定物件微調的情況下跟蹤一般物件。最初，goturn接收乙個影象和乙個手動分隔的leader ve- hicle邊界框作為輸入。假設感興趣的物件位於邊界框的中心。隨後，對於每個新影象，go- turn作為輸出給出邊界框的位置和幾何形狀(高度和寬度)的估計。使用落在邊界框內的雷射雷達點來估計前車的位置，這些點被認為是車輛。
運動目標跟蹤（十四） MIL跟蹤
原文 文章 robust object tracking with on line multiple instance learning boris babenko,student member,ieee,ming hsuan yang,senior member,ieee and serge be...
運動目標跟蹤演算法綜述
一般將目標跟蹤分為兩個部分 特徵提取 目標跟蹤演算法。其中提取的目標特徵大致可以分為以下幾種 1 以目標區域的顏色直方圖作為特徵，顏色特徵具有旋轉不變性，且不受目標物大小和形狀的變化影響，在顏色空間中分布大致相同。2 目標的輪廓特徵，演算法速度較快，並且在目標有小部分遮擋的情況下同樣有較好的效果。3...
運動目標跟蹤演算法綜述
一般將目標跟蹤分為兩個部分 特徵提取 目標跟蹤演算法。其中提取的目標特徵大致可以分為以下幾種 1 以目標區域的顏色直方圖作為特徵，顏色特徵具有旋轉不變性，且不受目標物大小和形狀的變化影響，在顏色空間中分布大致相同。2 目標的輪廓特徵，演算法速度較快，並且在目標有小部分遮擋的情況下同樣有較好的效果。3...