近年來，基於深度學習的單目標跟蹤演算法取了顯著的進步，但深度學習在多目標跟蹤領域仍侷限於基於影象識別領域的成果進行遷移，缺乏對跟蹤場景複雜性的考慮，因此多目標跟蹤問題仍沒有得到充分研究。除了單目標跟蹤中存在的光照變化、尺度變化、背景雜波，目標的形狀變化、姿態變化、部分遮擋、快速運動、運動模糊等問題，在多目標跟蹤中相較於單目標跟蹤還存在以下問題：a.目標數量影響；b.維持目標id；c.目標間的互動和遮擋；d.相似外觀；e.軌跡起始和終止；f.目標再識別（跟蹤目標再次出現）等問題。
因此需要解決測量幀內目標的相似度，包括外觀相似（攝像頭分辨困難），運動模式相似（雷達分辨困難），軌跡交叉、目標遮擋或碰撞（攝像頭和雷達分辨均困難），相互運動模式（其中有兩種，分別為社會力模式，即目標會根據對環境和其他物體的觀察，改變自我運動模式；人群運動模式，該屬於目標特別密集的場景，個人運動模式和外觀難以分辨）等。
根據圖可以看出，基於視覺的目標跟蹤演算法主要有2個方向：（1）基於相關濾波和深度學習的結合；（2）端到端的深度神經網路框架。左邊為深度學習方向的積累，屬於廣度高但深度不足情況；而右邊相關濾波方向的發展，呈迭代式深層發展。視覺跟蹤領域的神經網路框架中，以2023年提出2023年流行的siamese網路為主流，近年來的目標跟蹤研究均在其基礎上進行修改和改進。
該網路是近幾年視覺目標跟蹤領域研究熱度特別火的神經網路框架，而且siamese network屬於一種神經網路結構，其中可以根據具體處理的任務需要更換、調整所需要子神經網路框架。
如圖所示，其中siamese network有兩個結構完全相同，並且共享權值的子網路，並且將目標跟蹤問題轉化為了分類問題，即檢測前後幀是否屬於同一目標，根據分類結果優化神經網路的權值，使得網路能夠盡可能的區分同一目標和不同目標，實現同一目標的跟蹤。模型訓練過程如下所示：
（1） 第乙個子網路稱為模板分支，用於提取模板幀的特徵；
（2） 第二個子網路稱為檢測分支，提取出檢測幀的特徵；
（3） 在目標空間內基於距離公式進行相似度比較；
（4） 根據前後幀是否為同乙個目標優化網路引數。
相較以前的跟蹤演算法的優點：缺點：
（1）模板支只在第一幀進行，這使得模版的特徵對目標的變化不是很適應，當目標發生較大變化時，來自第一幀的特徵可能不足以表徵目標的特徵。
（2）siamese的方法只能得到目標的中心位置，但是得不到目標的尺寸，目標跟蹤效果還不夠精確。
結論：
本文基於公釐波雷達和ccd攝像機基礎上，對它們的資訊進行了d-s融合，其融合效果能正確識別障礙物及障礙物的距離、方位、寬度和高度，後續研究重點是光照和陰影影響。
處理序列資料的神經網路，具有「記憶」功能，即乙個序列當前的輸出與前面的輸出也有關，表現為對前面的資訊進行記憶並應用於當前輸出的計算中，隱藏層之間的節點不再無連線而是有連線的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
具體應用領域：考慮時間先後順序的問題，例如：（1）自然語言處理；（2）機器翻譯；（3）語音識別；（4）影象描述生成；（5）**推薦等領域。
潛在的問題：
（1）存在梯度消失的問題；
（2）難以處理較長的序列；
lstm是rnn的特例情況，重新設計了一種複雜的隱藏層結構，可以避免常規rnn網路的梯度消失問題，在工業界得到廣泛應用。
這個圖中表示了lstm網路的一般結構，主要包含3個部分：
（1）遺忘門：控制是否遺忘上一層的隱藏細胞狀態；
（2）輸入門：處理當前位置序列輸入，即利用兩個啟用函式分別處理過去狀態和當前輸入；
（3）輸出門：將綜合處理後的結果輸出。
該網路潛在的問題：
（1）具體應用中的模型結構設計問題；
（2） 由於引數增加，導致調參異常困難
隨著網路深度的不斷增加，人們發現深度cnn網路達到一定深度後再一味地增加層數並不能帶來進一步地分類效能提高，反而會招致網路收斂變得更慢，test dataset的分類準確率也變得更差。排除資料集過小帶來的模型過擬合等問題後，我們發現過深的網路仍然還會使分類準確度下降（相對於較淺些的網路而言）。
殘差網路（residual net）：
1、 神經網路層數：網路的層數越多，意味著能夠提取到不同level的特徵越豐富。並且，越深的網路提取的特徵越抽象，越具有語義資訊；
2、 層數限制：因為簡單地增加網路層數會導致梯度消失和梯度**，因此，人們提出了正則化初始化和中間的正則化層(batch normalization)，但是 又引發了另外乙個問題——退化問題，即隨著網路層數地增加，訓練集上的準確率卻飽和甚至下降。這個問題並不是由過擬合(overfit)造成的，因為過擬合表現應該表現為在訓練集上變現更好。
當下resnet已經代替vgg成為一般計算機視覺領域問題中的基礎特徵提取網路。主要思想：在網路中增加了直連通道，允許保留之前網路層的一定比例的輸出。
目標跟蹤研究（二）
名稱 vehicle detection with automotive radar using deep learning on range azimuth doppler tensors lstm網路 長短記憶網路 適合公釐波雷達原始資料的神經網路模型，該網路主要運用於語音頻號，考慮到雷達訊號與...
目標跟蹤演算法研究整理
最近專案有用到目標跟蹤的演算法，用的還是傳統opencv，整理一下 1.基礎框架 目標跟蹤基礎認識 opencv實現目標跟蹤的八種演算法 2.csrt追蹤器 官方描述 在具有通道和空間可靠性的判別相關濾波器 dcf csr 中，我們使用空間可靠性圖將濾波器支援調整為從幀中選擇區域的一部分以進行跟蹤。...
目標跟蹤演算法小結 一）
1.目標視覺跟蹤 visual object tracking 根據目標的跟蹤方式，跟蹤一般可以分為兩大類 生產 generative 模型方法和判別 discriminative 模型方法。生成類方法在當前幀對目標區域建模，下一幀尋找與模型最相似的區域就是 位置，如卡爾曼濾波，粒子濾波，mean ...