第32課、感知演算法
點雲感知
(1)點雲障礙物感知的主要任務是感知障礙物的位置、大小、類別、朝向、軌跡、速度等。核心是點雲檢測分割技術，可以用啟發式演算法ncut和深度學習演算法cnnseg完成。
啟發式方法：ncut
(1)ncut演算法的基本思想是基於空間平滑性假設，即空間上接近的點來自同乙個障礙物。首先，利用地圖資訊對點雲進行預處理，例如去掉感興趣區域之外的點雲，降低點雲圖的複雜度。然後根據預處理後的點雲構建加權圖g=(v, e, w)，將點雲分割轉換為圖分割的問題，可以利用圖聚類的演算法求解，最終求解的每乙個cluster就代表乙個障礙物。該演算法的優點是解釋性好，缺點是分割規則過於簡單，難以應對實際情況（草叢、綠化帶），主要原因在於缺乏語義資訊。
視覺感知
(1)視覺感知最早從adas發展而來。adas演算法相對輕量，採用人工構造的特徵和淺層分類器的方式實現輔助駕駛，該方法目前已經難滿足自動駕駛的需求。隨著深度學習技術的發展，尤其是在視覺領域的巨大成功，視覺感知的主流技術路線已經變為「深度學習+後處理計算」的方法。該方法帶來了以下幾個變化，第一是要求計算硬體公升級，第二是資料的需求量大增，第三是如何評估保證安全性。面向自動駕駛的深度學習演算法具有以下幾個特點：
①2d感知向3d感知滲透，模型輸出更豐富（後處理需要的3d資訊、跟蹤資訊、屬性資訊等都會放在cnn中進行學習）
②環視能力構建（傳統方法靠乙個camera完成前向檢測、碰撞檢測、車道線檢測。無人駕駛需要環視）
③感知+定位+地圖緊密結合
(2)cnn檢測是深度學習裡乙個十分火熱的應用，從最開始的alexnet,vggnet到resnet等，持續提高了imagenet影象檢測的精度，更多的細節和最新進展可以參考kaiming he（何凱明）的系列工作。需要注意的是，目前發表的大部分關於檢測的成果都是面向計算機視覺應用的，與自動駕駛領域的檢測還有很大的區別。
(3)首先，自動駕駛中，攝像頭是安裝在車上的，汽車行駛在結構化、規則化道路上，面向的場景更具體，有很多的幾何約束可以用來輔助檢測。
(4)其次，自動駕駛中的檢測模型需要輸出的資訊更多，包括障礙物的尺寸、朝向。同時自動駕駛還需要考慮時序性。我們稱之為區域性的end-to-end，檢測、2d到3d轉換、跟蹤三步是自動駕駛視覺感知的組成，後面兩步都由cnn來學習，減少人工干預。
(5)第三是多工學習，網路結構適配。自動駕駛需要針對不同的障礙物特徵（車道線，道路邊界，定位元素）進行識別，如果分別由專用模型處理，整個處理流程太長，無法滿足要求，因此需要做多工的識別和網路結構的適配。
(6)最後是屬性識別，即除了障礙物級別的輸出以外，還需了解速度類別朝向等問題，例如車尾燈狀態，車門開閉狀態。可以通過標註資料，由資料驅動的深度學習來自動學習這些更細的屬性。
cnn分割
(1)分割（segmentation）與detection在本質上是一樣的，是對乙個目標的不同力度的刻畫。分割是一種更細粒度刻畫物體邊界資訊的檢測方法，不再是畫框，而是進行邊緣分割。在感知中，對於不規則物體，往往需要進行分割處理。例如場景分割和可行駛區域感知。場景分割可以用於多感測器融合，例如對綠植進行分割，結合lidar點雲，就可以測出綠植的類別和距離。可行駛區域則可以對一些非結構化道路的路徑規劃提供支援。在車道線感知中，應視具體情況使用分割或者檢測方法。
後處理(1)乙個完整的系統除了深度學習模型，還需要做一些後處理，後處理是直接針對下游模組，對後續的影響比較直接。在視覺感知中，後處理主要分為三個部分。
(2)第一是2d-to-3d的幾何計算。2d到3d的轉換需要考慮的因素包括：
①相機pose的影響
②接地點
③穩定性
(3)第二是時序資訊計算，主要是針對跟蹤處理，需要注意以下幾點：
①對相機幀率和延時有要求，要求跟蹤必須是乙個輕量級的模組，因為檢測已經佔據大部分時間
②充分利用檢測模型的輸出資訊（特徵、類別等）進行跟蹤。
③可以考慮輕量級metric learning
(4)第三是多相機的環視融合
①相機布局決定融合策略，要做好視野重疊 。
radar感知
(1)上圖右邊是radar的點雲訊號投影的成像。圖中有很多的點，但是並不是所有的點都是障礙物，存在很大的噪音，需要進行鑑別。圖中明顯成一條線的點是對路邊界金屬柵欄的感知結果。因為金屬的反射訊號比較好，所以雷達點會成直線分布。基於該特徵，可以用radar反射訊號來做高速路道路邊緣柵欄的檢測。
超聲波感知
(1)超聲波只能進行近距離感知，並且無法感知具體的位置。
(2)對無人駕駛來說，行駛過程中幫助並不大，更多的是用於倒車和特別近距離的感知。
(3)上圖給出了超聲波感知的乙個例子，我們在車上布了12個超聲波感測器，每個超聲波探頭覆蓋乙個角度，大概檢測到三公尺範圍內的障礙物。
(4)當某個地方有障礙物，感測器傳送超聲波，收到回波訊號以後可以得到障礙物的距離資訊，但是並不能確定在覆蓋範圍內哪個地方有障礙物
大三小學期高階課程第三十四課 感知的未來
第34課 感知的未來 sensor迭代 1 如果在自動駕駛的研究中，發現某一類感測器在感知或者其他模組中具有很大的價值。2 那麼，整個資本市場會投入很多人力 財力研發感測器。隨著量產之後，感測器的成本就會大幅下降，更新換代就比較快。深度學習 資料 ai晶元 1 深度學習已經證明了在感知中有很大的作用...
大三小學期高階課程第五課 硬體開發平台介紹
第5課 apollo硬體開發平台介紹 從自動駕駛研發的流程角度看，大致可以分為以下4個步驟 a 軟體在環 軟體在環是基於 和模擬的軟體 類似於賽車類遊戲。即是在軟體系統裡 模擬出真實的道路環境如光照 天氣等自然環境，開發者可將自動駕駛 開發完畢後，在 系統內執行，測試是否可以實現目標。b 硬體在環 ...
大三小學期高階課程第二十四課 ROS原理1
第24課 ros原理1 apoollo ros對ros的改進 1 通訊效能優化 首先，我們看看為什麼要進行通訊優化，主要有以下幾點原因 自動駕駛大量使用感測器引發很大的傳輸頻寬需求。自動駕駛使用大量的感測器，這些感測器的資料量非常龐大。大量資料在目前ros的通訊架構裡面會帶來比較高的延遲或是丟幀。節...