obstacle指目標
基本原理是在前後幀之間關聯物件。
在兩幀之間關聯物件
sort是基於匈牙利演算法和卡爾曼濾波器實現的，更具體的介紹可以見這篇文章【computer vision for tracking】
其中匈牙利演算法可以判斷當前幀中的物件是否與前一幀中的物件相同。它將用於關聯和id屬性。
卡爾曼濾波是一種可以根據當前位置**未來位置的演算法。它也可以比感測器告訴我們的結果更好地估計當前位置。它將用於具有更好的關聯性。
可以根據得分將障礙物從一幀關聯到另一幀。我們有很多評價得分的方法可以想到：
卡爾曼濾波器用於每個邊界框，因此它在匹配框之後出現。建立關聯後，將呼叫**和更新功能。這些函式由用於確定狀態均值和協方差的公式組成的卡爾曼濾波器的數**算實現。
我們要估計均值和協方差。平均值是邊界框的座標，協方差是我們對具有這些座標的邊界框的不確定性。
平均值（x）是狀態向量。它由邊界框的中心座標（cx，cy），框的大小（寬度，高度）以及這些引數（速度）的變化組成。
初始化此引數時，我們將速度設定為0。然後將由卡爾曼濾波器對其進行估算。
協方差（p）是估計中的不確定性矩陣。我們將其設定為任意數字並對其進行調整以檢視結果。數字越大意味著不確定性越大。
這就是我們需要估計的一切：狀態和不確定性！卡爾曼濾波器的工作分為兩個步驟：**和更新。**將**未來的位置，更新將糾正它們，並通過改變不確定性來增強我們的**方式。隨著時間的流逝，卡爾曼濾波器變得越來越收斂。
另一種比較流行的是特徵追蹤（feature tracking）.在特徵跟蹤中，我們直接跟蹤特徵，而不是跟蹤邊界框。與早期和晚期融合類似，我們將進行早期和晚期跟蹤。
那麼我們可以跟蹤什麼特徵呢？這裡可以是影象中定位和跟蹤關鍵點。關鍵點可以是拐角，邊緣，漸變或畫素的特定變化。在交叉口環境中可以是藍色車牌
為了檢測和跟蹤關鍵點，我們使用3個步驟：
檢測器的想法是檢測影象中的特定畫素，例如角落或邊緣。存在幾種演算法，僅舉幾例：
更多的有： brisk, brief, freak, kaze, orb, and shi-tomasi.
建立所有這些目標時都有著相同的目標：快速找到關鍵點。一些技術將對光線的變化具有魯棒性，而在其他方向上更快，比如諸如harris的技術專注於拐角檢測。基本原理是提取區域性最大值。
現在，我們已經使用檢測器找到關鍵點（拐角和邊緣），我們可以使用描述符將它們與影象匹配。
為此，我們檢視圍繞給定關鍵點的一小片區域。我們可以從比較原始畫素值再到使用定向梯度直方圖（histogram of oriented gradients, hog）。
描述（和檢測）最流行的方法是sift，之前已經介紹過。
尺度不變特徵變換是hog系列的一部分。
以下是其工作原理的概述。
檢測關鍵點
對於每個關鍵點，選擇周圍的乙個區域。
計算方向和大小並獲得hog
4.提供乙個直方圖，我們可以在幀之間進行比較。
這是檢測器/描述符的結果-我們有關鍵點和方向。
總結一下，描述符是值的向量，它描述關鍵點周圍的影象塊。其中有多種技術，從單純比較原始畫素值到更為複雜的方法（例如hog）。
描述符的想法是比起單純比較兩幀之間的畫素值有更好的方法，那我們使用什麼標準來匹配描述符呢？
兩幀中有兩個直方圖或者向量代表我們特徵。
然後可以採用損失函式來確定兩個特徵是否相同。我們可以使用平方差總和（ssd）來獲取數字並將其閾值化。還可以使用最近的臨近匹配。
最流行和最有效的技術之一是flann。
需要注意下面這種情況。
一幀中幾個描述符有著非常類似的特徵，可以預見的是下一幀可能會導致錯誤的匹配，存在諸如ssd ratio之類的過濾技術可以幫助我們解決此問題。
現在我們比較清楚的了解了感測器融合的過程。
讓我們總結一下我們學到的東西：
感測器融合過程是關於融合來自不同感測器的資料。
可能存在早期或晚期融合。在早期融合中，我們要將3d點雲投影到2d影象上，而在晚期融合中，我們希望在2d空間中投影2d邊界框。這個想法是融合結果。
跟蹤也是感測器融合過程的重要組成部分。可能有後期跟蹤（目標跟蹤：在此我們跟蹤邊界框）或早期跟蹤（特徵跟蹤：我們跟蹤畫素）。
對於早期跟蹤，我們使用檢測器，描述符和匹配器的組合來執行幀到幀的關聯。檢測器用於查詢關鍵點，描述符用於對其進行編碼，匹配器用於判斷幀之間是否相似。
多線雷射雷達與單線雷射雷達的區別
多線雷射雷達是指同時發射及接收多束雷射的雷射旋轉測距雷達，市場上目前有4線 8線 16 線 32 線 64 線和128線之分，多線雷射雷達 可以識別物體的高度資訊並獲取周圍環境的3d掃瞄圖，主要應用於無人駕駛領域。在無人駕駛領域，多線雷射雷達主要有以下兩個核心作用 slam定位加強 同步建圖 sla...
雷射雷達與相機觸發
用於自動駕駛的雷射雷達必須支援與主機或其他感測器的時鐘同步，同步精度通常要達到毫秒級。常見的同步技術有兩種，一種是基於gps的 pps nmea 另一種是基於乙太網的ieee 1588 或ieee 802.1as 時鐘同步協議。gps能夠從衛星獲得高精度的時鐘訊號，因此通常作為整個系統的時鐘源。常規...
雷射雷達與IMU標定
1 直接聯合標定 阿波羅 蘇黎世理工 2 相機和lidar聯合標定，相機和imu聯合標定，通過鏈式計算獲取lidar和imu外參 標定camera和imu，部落格教程 標定camera和lidar，部落格教程 多感測融合內外參標定 一 lidar imu外參標定工具lidar align kalib...