深度學習十分適合高度複雜場景下的自動駕駛應用，尤其與增強學習相配合，能讓從感知到執行的過程變得簡單。
谷歌和李世石的人機大戰引爆了公眾對於人工智慧的關注，也讓基於深度學習的人工智慧成為汽車業界關注的重點，那麼深度學習在智慧型駕駛的應用場景下有什麼幫助呢?
自動駕駛最先出現在美國，而不是歐洲或者日本，更不是中國，非常關鍵的乙個原因在於，美國的駕駛環境相對於其它地區而言，是最簡單的，無論是道路情況還是駕駛習慣。這就意味著，開發乙個自動駕駛原型產品的技術難度可以大大降低。
這種高度複雜的場景很難用有限的規則來定義清楚，所以傳統的演算法的表現往往無法滿足自動駕駛的要求，而深度學習非常適合在複雜場景下的自動駕駛應用。如果這個場景足夠簡單的話，深度學習並不能表現出相對於其它基於傳統模式識別方法的優勢。
更具體一點來講，對於非結構化資料的識別、判斷、分類是它的優勢所在。影象、語音都是非結構化的，而像 excel **上的資料，我們稱之為結構化的資料。自動駕駛所面臨的環境，如果表達出來，正是非結構化的資料，深度學習可以很好地處理這種場景。
深度學習的前沿技術
深度學習的發展其實有很長的歷史，它的原理從上世紀五十年代末期就已經出，80 年代在手寫體數字的識別方面取得相當的成就，並應用於美國的郵政系統。但其真正崛起還是在十年前開始的。
這裡面其實是有時代的大背景的因素，這個時代提供了深度學習兩個最關鍵的助推引擎：大資料和高效能處理器。深度學習非常適合利用大資料提高效能，隨著用於訓練的資料量不斷增加，深度學習的效能也得到持續的提公升。
事實上到目前為止，我們還沒有發現其效能提公升的上限。這是深度學習目前受到關注的乙個非常重要的原因。過去很難獲得如此大量的資料，也缺乏足夠強勁的計算平台，而今天隨著物聯網的發展，據獲取已經不再是問 題。另一方面，著單個處理器的效能進入 tflops 時代，深度學習所需要海量計算已經在經濟上變得可承受了。谷歌的 alphago 的計算能力是當年擊敗西洋棋冠軍的 ibm 深藍的三萬倍。要知道當年的深藍可是大型機，成本不是一般應用可以承受的。
從 2012 年 hinton 和他的學生 alex 在國際上權威的影象識別領域 imagenet 比賽奪冠以來，深度學習目前已經可以達到 97%的識別準確率，超過普通人的 95% 的識別準確率。機器視覺的識別能力超過人類，這是人工智慧領域了不起的成就， 而這一切在僅僅 4 年的時間內就實現，則更凸顯了深度學習的潛力和業界的研究 熱潮。深度學習還在持續擴充套件其潛力，在人臉識別方面的準確率可達 99.5%以 上（基於 lfw 資料庫）。
很多人也會問，到底深度學習是乙個什麼樣的東西？要用簡單的話解釋清楚其實是一件很有挑戰性的事情，它涉及很多較為抽象的基礎知識，比較形象地描述：深度學習其實是對人的大腦識別機制的模擬。
舉個例子，我看到對面走來乙個人，瞬間就可以判斷出這個人是我的同事。眼睛獲取的影像有幾十萬畫素， 需要上百萬位元組去描述，而大腦經過處理後，可以將它簡化為幾個位元組，就是同事的名字。人的大腦可以非常高效地處理海量的非結構化資料，把其中的內容識別出來，用極其精簡的資訊去描述。這也正是深度學習的本質——把複雜資訊精簡地表達出來。
技術化的描述是：基於資料驅動的、自動學習要建模的資料的潛在（隱含）分布的多層（複雜）表達的演算法。目前深度學習使用最多的建模技術是多層卷積神經網路，並建立大量的隱含層（可達上百層）。
這個技術出現已經很久了，但在此之前一直表現不好，那個時候大家都是在小規模樣本下進行的，對於引數的調整非常困難。深度學習乙個最大的突破就是，將引數的計算自動化，人不再進行干預，而是讓它通過大量的資料學習，自己確定這個引數。
深度學習的技術也在快速演進，比如 lstm（長短期記憶模型）的使用，賦予深度神經網路儲存狀態的能力。也就是，我們將賦予機器記憶的能力。
它的用途在**呢？拿玩遊戲來說。比如射擊類的遊戲，目前基於深度學習和增強學習的人工智慧系統可以有非常出色的表現，因為它不需要記住過去的遊戲狀態，而當機器玩一些策略類遊戲 的時候，比如星際爭霸，沒有記憶能力導致它無法進行長時間跨度的策略規劃，與人的表現就相差甚遠。
lstm 使得深度神經網路從乙個二維空間網路變成了一 個時空結構的網路，即在時間尺度上也表現出深度，結果就是機器不需要從頭開始認知，而是把過去和現在連線在一起，規劃下一步的行動。顯然，這讓大型的策略類遊戲成為機器的下乙個征服目標。上週傳出訊息 alphago 要在今年內對戰柯潔，期待一下 alphago 的下一次驚豔出場吧。
總體來講，具備深度學習能力的裝置就好像是乙個有生命力的機器，它會隨著資料訓練的過程逐步成長，它的本領是可以持續提高的，而且這種本領可以被複製到另乙個裝置中。
深度學習與增強學習雙管齊下通往自動駕駛
深度學習對感知有非常強的能力，可以理解各種複雜影象的含義，但是它並不能把這種感知轉化為決策能力。增強學習就是用來解決這個問題。
如果打個比方的話，增強學習借鑑了馴獸員的方法，不教動物們任何規則(當然也教不會呀)， 一開始讓動物們隨便地做各種動作。當其中有乙個動作是符合期望的時候，立即給它們好吃的，就是增強了它們繼續這個動作的動力。隨著訓練時間和次數的增加，動物們就會真的在頭腦裡建立乙個規則：做某個動作可以得到好吃的。因而，將其稱之為「增強（reinforcement）」學習的原因。
某種意義上，這也借鑑了管理學上的結果導向的理念，有兩個關鍵點：第一，只看重結果，不關心過程或者動機；第二，對於每一次行動，及時獎懲，強化認知。
自動駕駛的整個系統，一般來說由三個層級組成：感知層、規劃決策層和控制執行層。深度學習和增強學習結合的結果，會使得感知和執行以前所未有地方式真正緊密地結合在一起，完成自動駕駛。
1.感知
感知層的任務是完成環境態勢感知，這個是自動駕駛的核心環節。在自動駕駛中，任何執行動作都要以理解整個駕駛環境為前提。這裡面分為兩層：車外環境和車內環境。
對於車外環境，首先是多種感測器的輸入，比如多攝像頭、公釐波雷達以及雷射雷達等，通過融合對映到乙個統一的座標系中，這些影象資訊需要進行物體的識別和分類，比如車道、路肩、車輛、行人等等，這正是深度學習的優勢。利用深度學習，在計算系統中重構出來乙個 3d 環境，這個環境中的各個物體都會被識別並理解。
對於車內環境，是指對車內駕駛員的感知，包括其疲勞程度、駕駛意圖等，這將給後面的決策控制提供決策基礎資訊，如疲勞檢測系統在檢測到駕駛員進入嚴重的疲勞狀態後，自動將駕駛狀態從人工操控轉為自動駕駛。
2.區域性路徑規劃
這裡需要對整個車外環境中車輛、交通狀況和行人等的意圖或者在一段時間內的行為進行**，再根據本車的狀態和意圖，結合前面的環境感知結果和高精度地圖提供的道路資訊等，規劃出最佳的行駛路徑，這個規劃需要可以滿足駕駛意圖，並對周圍的車輛友好、安全。
通過積累大量的資料進行足夠的訓練，基於深度學習的系統可以給出最優規劃。當然，這種規劃不能單純依賴深度學習的預判，它必須和交通規則的專家系統，以及其它高可靠性手段結合，才可以達到實用。例如 v2x 的普及，會使得本車可以在超視距範圍內，精確地獲取周圍車輛的位置、速度以及駕駛意圖**彎/變道）等。
3.決策控制
在路徑規劃確定後，自動駕駛系統需要進行本車意圖決策，比如什麼時候進行超車、什麼時候轉彎、選擇什麼時機進行變道是最優的等等。自動駕駛系統需要學習人類開車的習慣，學會如何在複雜的會車場景下進行操作、保持合理的車距等，更進一步地，學習主人的開車習慣，在滿足安全性的前提下，盡量使自動駕駛的風格與其開車行為相適應，提供更好的使用者體驗，並優化自己的駕駛效率。很顯然，這裡增強學習是非常適合的技術。
目前，前沿的研究人員正利用深度學習和增強學習開展一些非常炫酷的功能，例如完成從原始感測器資料到實際動作執行器的直接過渡。
在今年的 ces 展上，豐田展示了一套類似的自動駕駛演示系統，在一塊布有障礙並有指示方向的方形地形中，8 輛沒有駕駛經驗的模型車，將感測器監測到的環境資訊輸入深度學習系統，並將深度學習系統與油門、制動和方向輸出連線。經歷約 4 個小時的學習後， 基本實現了零事故。
自動駕駛的測試是乙個非常耗時、費錢的工作，谷歌累計的自動駕駛實際道路測試里程已經超過 100 萬英里，如何更高效地測試也是自動駕駛領域的乙個關鍵問題。
從理論上講，我們可以用計算系統去模擬實際道路的情形，如果我們可以對道路上的各個要素進行準確地建模， 並且模擬這些要素的行為，例如超車、剎車、變道。利用蒙特卡洛模擬，配合增強學習的技術，就能構建乙個自主執行的系統。這個系統本身在不需要耗費一滴汽油的情況下，產生大量的模擬場景，發現自動駕駛原型的各種缺陷，並獲得大量的資料。就像谷歌訓練它的 alphago 一樣。
小結
去年 10 月，豐田宣布投入 10 億美元，設立一家專注於研發人工智慧的新公司 toyota research institute，希望打造像人類一樣會自己「思考」的、可以應對突發情況的汽車， 讓自動駕駛技術更加可靠。
去年年底，豐田還投資了 preferred networks，另外一家深度學習領域的初創公司，通用則直接收購了初創公司 cruise automation，只要看名字你就知道這家公司是幹什麼的。
真金**的投入，其背後折射出的是車廠對於深度學習技術的認可。奧迪在 2015 年首次在美國從矽谷自動駕駛至拉斯維加斯測試其基於 a7 的自動駕駛汽車時，就明確表示：「自動駕駛的關鍵是深度學習」。
原文發布時間為：2016-06-09
複雜場景下的多目標定位 深度學習演算法綜述
一 背景知識 目標定位是計算機視覺的重要應用場景之一。在工業生產 航空航海 農產品包裝等眾多領域內均已得到廣泛應用。在工業生產中，通過目標定位可以實現精準地完成自動抓取 自動上料等操作 在航空航海中，利用目標定位可以為海上打撈等工作提供可靠的位置服務 在交通運輸中，借助目標定位可以準確獲取車輛的位置...
深度學習與自動駕駛的愛恨情仇
本文將討論一下自動駕駛行業中深度學習的身影 首先，先介紹一下深度學習，也就是自動駕駛中的 黑盒子 黑盒子 在自動駕駛應用 自alexnet以後，yolo inception resnet mobilenet gan等系列網路如雨後春筍般湧現，在各個行業都有應用。自動駕駛行業當然也不例外。在自動駕駛的...
自動駕駛 深度學習與自動駕駛領域的資料集蒐集
目錄 kitti資料集簡介與使用 資料集名稱 kitti oxford robotcar cityscape comma.ai udacity bddv carla gta 鏈結 資料集鏈結 鏈結 乙個面向城市道路街景語義理解的資料集 資料集鏈結 鏈結 geohot創辦的comma.ai的資料集，8...