特斯拉的 autopilot 系統有多好騙?人類永遠不會認為,樹上的投影和戶外廣告中的標誌是真實的,可惜特斯拉沒這麼聰明。這段廣告來自麥當勞,但有人在上面「動了手腳」:除了漢堡和薯條,還有乙個「stop」交通標誌一閃而過。
雖然這個標誌只出現了 0.5 秒,但卻足以誤導一輛特斯拉最新的自動輔助駕駛系統,使其下達停車命令:
這種針對自動駕駛汽車的對抗攻擊也不是什麼新鮮事,但在以往的研究中,人們大多關注「有哪些東西是自動駕駛系統看不到的」。而這項實驗的不同之處在於,研究者關注的是「有哪些東西是人類駕駛員不會留意,但自動駕駛系統會注意的」,比如上文中一閃而過的停車標誌。
以色列本 · 古里安大學的研究者已經花了兩年的時間來研究這個問題。此前,他們曾透露,特斯拉的輔助駕駛系統會被路上一閃而過的投影所誤導,將這些投影看成路標或斑馬線,從而在毫無預警的情況下將車停下。
在今年初的一項實驗中,研究人員分別在道路、樹木等物體上投**人影、路標、道路標誌線等誤導性投影,結果搭載 hw2.5 autopilot 的 tesla model x 全部中招。
特斯拉 autopilot 將投影在路上的虛擬人當成真人,下達剎車命令。
特斯拉 autopilot 眼中的虛擬人投影。
特斯拉 autopilot 在地面標誌線投影的誤導下突然變道。
在上述研究的基礎上,研究人員繼續改進實驗。一項新的研究發現,在乙個電子廣告牌中嵌入幾幀的路標也能達到相同的效果。他們提醒說,如果黑客入侵了聯網的廣告牌,他們就能利用這一漏洞製造交通擁堵或事故,而且幾乎不留下證據。這篇**已被 2020 年第 27 屆 acm 計算機和通訊安全(ccs)會議收錄。
研究人員發現,一張只出現 0.42 秒的影象就能成功欺騙特斯拉,而乙個只出現了八分之一秒的標誌騙過了以色列高階駕駛輔助系統——mobileye。
將乙個限速標誌嵌入上述廣告,時長為 125ms。
向乙個安裝了 mobileye 裝置的汽車展示潛入了限速標誌的廣告牌,汽車被成功欺騙。
為什麼自動駕駛系統總是很好騙?
當然,本 · 古里安大學的研究者不是第一批向特斯拉自動輔助駕駛系統發起挑戰的人。早在 2016 年,南卡羅來納大學和浙江大學等機構的研究者就曾經利用無線電、發光裝置等成功地「愚弄」了特斯拉的自動輔助駕駛系統。
近日,還有乙個中國團隊發現,針對特斯拉的車道跟蹤技術,只需要在道路上貼上貼紙,就能誘導特斯拉改變車道。
本 · 古里安大學研究者在這項研究中採用的是與二者不同的方法——至少不是物理方法。正如很多黑客此前所證明的一樣,襲擊者可以遠端侵入聯網的廣告牌。團隊推測這種「幻影攻擊」會以勒索或者惡作劇等形式發生,**第一作者 ben nassi 指出:「以前的方法會留下證據,需要複雜的準備工作。而這種方法完全可以遠端進行,不需要任何專業知識。」
攻擊模型
這種攻擊有以下特點:
無需物理接近攻擊現場;
不會留下任何可識別的物理證據;
攻擊過程很短暫,幾乎沒有目擊證人;
攻擊的目標不太可能試圖阻止攻擊(通過控制車輛),因為他 / 她不會注意到任何異常情況。
面對這項研究結論,特斯拉尚未置評,但在上週的一封郵件中,特斯拉提到了乙個熟悉的論點:它的 autopilot 功能並不意味著是乙個完全自動駕駛的系統。「autopilot 提供了一種駕駛員輔助功能,僅適用於全神貫注的駕駛員,他們把手放在方向盤上,準備隨時接管。」
但研究人員 yisroel mirsky 不贊同這一說法:「眾所周知,人們在使用自動輔助駕駛系統時,不會始終保持 100%的注意力。因此,無論特斯拉如何表示,我們都必須努力減少這種威脅,以確保人們的安全。」
特斯拉的 autopilot 系統主要依靠相機,而不那麼依靠雷達。而更加完備的自動駕駛汽車(比如 waymo、uber、cruise)還整合了雷射雷達,從而減少了受此類攻擊的可能性,因為雷射雷達不在乎廣告牌上內容的變化。
對策:ghostbuster 系統
本 · 古里安大學的研究者並未測試針對更多感測器設定的攻擊, 但他們演示了在基於攝像頭的平台上檢測到幻影的方法。研究者開發了乙個名為 "ghostbusters" 的系統,用於驗證車載目標檢測器檢測到的物體,該系統的設計考慮了諸如深度、光線以及交通標誌周圍的環境感知等要素,並權衡所有這些要素,然後再確定道路標誌影象是否真實。
打個比方,ghostbusters 就像是乙個專家委員會集思廣益,來討論出現的「影像」是真實存在的還是虛幻的,從而進行集體決策。在研究者看來,這種方法可以更加可靠地戰勝「幻影攻擊」,同時也不會降低基於攝像頭的自動駕駛系統的速度。
ghostbuster 可以部署在現有的高階駕駛輔助系統上,無需額外的感測器,並且不需要對現有的道路基礎設施進行任何更改。ghostbuster 由四個輕量級深度 cnn 組成,通過檢查目標物體的反射光、環境、表面和深度來評估其真實性。在最終**中,第五個模型使用四個模型的嵌入來識別「幻影」。
ghostbuster 架構圖
實驗表明,這一對策優於現有的基準方法。fpr 設定為 0 的條件下,auc 超過 0.99,tpr 為 0.994。該模型應用於七種最新的路標檢測器時,攻擊成功率從未使用時的 99.7-81.2% 降到了 0.01%。目前,研究者已經開放了訓練後的模型、**以及資料集。
本 · 古里安大學的 nassi 承認,ghostbuster 系統並不完美(github 頁面詳細介紹了侷限性),但他仍然認為即使特斯拉的自動輔助駕駛系統存在雷達、攝像頭等多種感測器,黑客攻擊生成的影象仍會讓汽車出現判斷問題。作為車企,特斯拉自動輔助駕駛系統的原則是「better safe than sorry」,如果攝像頭發現障礙系統就判定為障礙,反而會為黑客攻擊提供機會。但如果不這麼做——乙個或幾個感測器探測到了風險,其他卻沒有探測到不算數,可能會引發其他的麻煩。「如果你的自動駕駛系統可以忽略影象攻擊,又未能得到其他感測器的正確驗證,就會有發生其他事故的風險,」nassi 說道。「降低黑客攻擊的風險需要付出代價。」
谷歌路邊廣告,為Chrome造勢
事實證明,在網際網路時代,瀏覽器是現代軟體業的開路先鋒。此話有何根據?今年 5 月22 日,谷歌推出 chrome 2.0 瀏覽器 xp 和 vista 版本 起初不見什麼動靜。7 月 8 日,谷歌帶領大隊人馬 主要是 it 製造商 闖入 linux 陣營,揚言要搞基於 chrome 瀏覽器的 gn...
微軟「吞掉」黑莓變硬或「黑掉」諾基亞
全球3g應用匱乏,無法盈利的困境讓行業的決策者們絞盡腦汁,煞費苦心。移動運營商根據各自的網路特色按照自己對技術的理解定製著手機終端的應用和功能,至今沒有任何可以讓消費者心動的殺手級應用,這是全球3g運營虧損的根本。手機終端製造商必須按照移動運營商的技術要求開發自己的產品,無非是外觀的不斷變化,消費者...
從「黑掉Github」學Web安全開發
egor homakov twitter homakov 個人 egorhomakov.com 是乙個web安全的布道士,他這兩天把github給黑了,並給github報了5個安全方面的bug,他在他的這篇blog how i hacked github again 牆 說明了這5個安全bug以及他...