自動駕駛是一種自主決策系統，它處理來自不同車載**的觀測流，如照相機、雷達、雷射雷達、超聲波感測器、gps裝置和/或慣性感測器。這些觀察結果被汽車的計算機用來做駕駛決定。
1.傳統目標檢測與識別的步驟
如何建立乙個高準確率、高召回率的物體識別系統？這實際是無人車感知的乙個核心問題，而物體檢測更是重中之重，要求我們對不同感測器設計不同的演算法來準確檢測障礙物。
具體說到物體檢測，我們要求完成單幀障礙物的檢測，並借助感測器內外引數標定轉換矩陣，將檢測結果統一影射到車身的座標系中，這種物體檢測演算法既快速又準確。
2.為何要引入深度學習
深度學習的方法進行影象處理，最大的區別就是特徵圖不再通過人工特徵提取，而是利用計算機，這樣提取出來的特徵會非常豐富，也很全面。
深度學習可以實現端到端的感知效果。
深度學習可以被理解為全自動的演算法，可以在沒有人干預的情況下完成乙個演算法的流程，這是深度學習相較於傳統機器學習最大的優勢所在。
所謂的深度學習就是通過集聯多層的神經網路形成乙個很深的層，當層數越多，提取出來的特徵也就越多而且越豐富。所以在目標檢測和識別的過程中，最主要使用的深度學習特徵提取模型就是深度卷積網路，英文簡稱cnn。
為什麼cnn影象處理的方式比以前更好呢？究其原因，根本還是在於對影象特徵提取。例如，當我們使用多層進行特徵提取的時候，其實有些層是針對影象的邊緣輪廓來提取的，有些則是針對質地或者紋理來進行的，還有些是針對物體特徵進行操作，總而言之不同的層有不同的分割方式。
回歸到目標檢測這個問題上，卷積神經網路的每一層如果能夠準確提取出所需特徵，最後也就容易判斷許多。因此決定cnn的目標檢測和識別的關鍵就在於對每一層如何設計。
3.深度學習目標檢測方法分類
深度學習針對當前目標檢測的方法
1.對於候選區域的目標檢測演算法，典型的網路是r-cnn和fasterr-cnn
以fasterr-cnn為例，首先提取影象中的候選區域，隨後針對這些候選區域進行分類判斷，當然由於這些候選區域是通過演算法搜尋出來的，所以並不一定準確，因此還需要對選出的區域做位置回歸，隨之進行目標定位，最後輸出乙個定位結果。總體來說，首先要先選擇、再判斷，最後剔除不想要的。
這種演算法精度較高，不過由於需要反覆進行候選區域的選擇，所以演算法的效率被限制。
2.基於回歸的目標檢測演算法，典型實現是yolo和ssd
ssd的典型回歸目標檢測演算法，分為四個步驟：第一步通過深度神經網路提取整個的特徵；第二步對於不同尺度的深度特徵圖設計不同大小的特徵抓取盒；第三步通過提取出這些抓去盒中的特徵進行目標識別，最後，在識別出的這些結果中運用非極大值抑制選擇最佳的目標識別結果。
只需觀測一次就能進行目標的檢測以及識別，因此演算法的效率非常高。
3.基於增強學習的目標檢測演算法，典型表現為深度q學習網路
可以說場景適應性算是比較強的。增強學習演算法目標檢測可被看成不斷動態調整候選區域邊框的過程。
4.在自動駕駛中的應用
深度學習方法特別適合於從攝像機和lidar(光探測和測距)裝置獲取的2d影象和3d點雲中檢測和識別物件。在自動駕駛中，三維感知主要基於雷射雷達感測器，它以三維點雲的形式提供對周圍環境的直接三維表示。雷射雷達的效能是根據視場、距離、解析度和旋轉/幀速率來衡量的。3d感測器，如velodyne通常具有360度水平視野。為了高速行駛，一輛自動駕駛汽車至少需要200公尺的行駛距離，使汽車能夠及時對路況的變化作出反應，三維目標檢測精度取決於感測器的解析度，最先進的雷射雷達能夠提供3cm的精度。攝像機則是對獲取的影象通過深度學習方法進行處理，其主要依賴於解析度的高度和演算法的精準程度。
一輛自動駕駛汽車應該能夠檢測到交通參與者和可行駛區域，特別是在城市地區，那裡可能出現各種各樣的物體外觀和遮擋。基於深度學習的感知，特別是卷積神經網路(cnn)成為目標檢測和識別的事實標準，在imagenet大規模視覺識別挑戰賽等比賽中取得顯著成績。不同的神經網路結構用於檢測二維感興趣區域或影象中的畫素分割區域，3dlidar點雲中的邊界盒以及組合相機lidar資料中物件的三維表示。場景感知結果的示例如圖3所示。影象資料資訊豐富，更適合於目標識別任務。然而，由於在將成像場景投影到成像感測器上時丟失了深度資訊，因此必須估計被檢測物件的真實3d位置。
其感知過程如下：首先lidar探測到訊號，傳遞給roi的filter，濾波後的訊號通過obstacle segmentation和detection識別，然後進行 tracking。apollo在運算這一塊採用的是nvidia gpu，運算能力強勁，可以實現10hz的輸出，最後是obstacles感知。
環境感知主要包括當前環境的語義分割和靜態、動態的目標檢測，採用人工智慧技術中的深度卷積神經網路通過前期的資料訓練以及特徵提取，給出複雜環境中場景物體類別等資訊，幫助計算機精準地理解周邊的環境態勢。
自動駕駛 深度學習與自動駕駛領域的資料集蒐集
目錄 kitti資料集簡介與使用 資料集名稱 kitti oxford robotcar cityscape comma.ai udacity bddv carla gta 鏈結 資料集鏈結 鏈結 乙個面向城市道路街景語義理解的資料集 資料集鏈結 鏈結 geohot創辦的comma.ai的資料集，8...
深度學習與自動駕駛的愛恨情仇
本文將討論一下自動駕駛行業中深度學習的身影 首先，先介紹一下深度學習，也就是自動駕駛中的 黑盒子 黑盒子 在自動駕駛應用 自alexnet以後，yolo inception resnet mobilenet gan等系列網路如雨後春筍般湧現，在各個行業都有應用。自動駕駛行業當然也不例外。在自動駕駛的...
深度學習資料集 自動駕駛資料集 持續更新中
naturalistic trajectories of 110 500 vehicles recorded at german highways highd資料集是在德國高速公路上記錄的自然車輛軌跡的新資料集。使用無人機，可以從空中角度克服已建立的交通資料收集方法的典型侷限性，例如交通阻塞。記錄了...