某些對抗性事件很可能是人為設計而來。我們必須知曉其中的手法與工件是什麼,這樣才能真正理解深度神經網路的可靠性。 收藏
分享深度神經網路是一種使用數學模型處理影象以及其他資料的多層系統,而且目前已經發展為人工智慧的重要基石。
深度神經網路得出的結果看似複雜,但同樣有可能受到誤導。而這樣的誤導輕則致使其將一種動物錯誤識別為另一種動物,重則在自動駕駛汽車上將停車標誌誤解為正常前進。
休斯敦大學的一位哲學家在發表於《自然機器智慧型》上的一篇**中提到,關於這些假想問題背後的普遍假設,在於誤導性資訊可能給這類網路的可靠性造成嚴重影響。
隨著機器學習以及其他形式的人工智慧越來越深入滲透至社會,其用途也開始涵蓋從atm機到網路安全系統的廣泛領域。哲學系副教授cameron buckner表示,正是這種普及,讓了解明顯錯誤的**變得無比重要。研究人員們將這類資訊稱為「對抗性示例」,指當深度神經網路在學習過程中遇到訓練輸入之外的其他資訊時,則很有可能總結出錯誤的結論、最終引發影象或資料誤判。之所以被表述為「對抗性」,是因為這樣的問題往往只能由另一機器學習網路所產生或發現。作為機器學習領域中的一種前沿技術,對抗雙方將不斷公升級自身能力,以更複雜的方法嘗試實現干擾與反干擾。
buckner提到,「但這種對抗有時候可能源自人為誤導,因此要想更好地了解神經網路的可靠性,我們必須對誤導問題做出深入研究。」
換言之,這種誤導結果很可能源自網路需要處理的內容、與所涉及的實際模式之間的某種相互作用所引發。這與傳統意義上的誤導,似乎還不完全是同一種概念。
buckner寫道,「理解對抗性整合的含義,可能需要探索第三種可能性:其中至少有一部分模式屬於人為創造。因此,目前的難題在於,直接丟棄這些模式可能有損模型學習,但直接使用則具有潛在風險。」
引發機器學習系統錯誤的對抗性事件除了無心而發,更可能是有意為之。buckner認為這才是更嚴重的風險,「意味著惡意攻擊者可能會欺騙某些本應可靠的系統,例如安全類應用程式。」
例如,基於人臉識別技術的安全系統很可能遭遇黑客入侵,導致違規行為的出現;或者在交通標誌上張貼某些圖形,導致自動駕駛汽車產生意外誤解。
先前的研究發現,與人們的預期相反,使用場景中天然存在著一些對抗性示例,即機器學習系統有可能因為意外互動(而非因資料錯誤)而產生誤解。這類情況相當罕見,必須通過其他人工智慧技術才可能發現。
但這些問題又真實存在,要求研究人員重新考慮該如何辨別自然異常與人為誤導。
事實上,我們對這類人為誤導的理解並不清晰。但這有點像是相機鏡頭上時不時出現的光暈,類似於依靠光暈來判斷畫面中太陽的位置,研究人員似乎也可以借助這樣的蛛絲馬跡推斷機器學習中的惡意誤導方法。
更重要的是,這種新的思考方式也將影響人們在深度神經網路中使用工件的方式,包括不應簡單將誤解結論視為深度學習無效。
他總結道,「某些對抗性事件很可能是人為設計而來。我們必須知曉其中的手法與工件是什麼,這樣才能真正理解深度神經網路的可靠性。」
SQL 以面向集合的思維方式來思考
圖4 1給出了12張卡片,從中你應該可以找出6個集合。每張卡片左上角的字母表示顏色 r 紅色,g 綠色,p 紫色 試試吧。答案在本章的最後 可別作弊哦!我首先給出第乙個集合 第1行第2列 實心綠色花體 第3行第2列 實心紅色花體 和第3行第4列 實心紫色花體 這個遊戲迫使你按集合來思考,除此以外別無...
用file來識別檔案的編碼方式
以前其實也有些類似的需求,就是需要判斷乙個檔案的編碼方式到底是什麼,知道file命令可以,但是遇到某些檔案,比如php它只會顯示這是乙個php檔案,並不會顯示它的編碼方式。今天又重新遇到這個問題,因此仔細看了一下file的手冊。原來file會先根據 usr share file magic裡的一些定...
對自己的學習方式的思考
前兩天跟老大討論起關於知識學習的問題。他說到很佩服自己的記憶力,因為經常能看到我對那些錯綜復 雜的目錄結構,原始碼位置,檔名之類的資訊記得都很清楚。然後自陳他自己的記憶力就不夠好。對於那 些目錄結構,原始碼位置的資訊記憶得就不是很牢固,總是需要在 cd到某個目錄之前要 ls一下才能確定。但是在我看來...