【概要】谷歌的研究人員找到了一種方法，可以「綁架」神經網路，迫使它去完成計畫之外的任務。
現有的計算機視覺演算法並不完美。在
2023年
7月，谷歌的研究人員證明了一種流行的物體檢測應用程式介面（api）可能會被欺騙，以至於將貓識別為「瘋狂的被子（由各色布料拼製成的被面）」和「玻璃紙」。不幸的是，這還不是最糟糕的：它們也可能被迫對影象中的方塊進行計數，對數字進行分類，並執行預定任務之外的其他任務。
谷歌的研究人員
在arxiv.org發表了一篇題為「神經網路的對抗性重程式設計」的**，描述了一種能夠對機器學習系統進行重新程式設計的對抗性方法。轉移學習（
transfer learning
）的新形式甚至不需要攻擊者指定輸出。
研究人員寫道：「我們的結果首次證明 ......
可能會發生對神經網路進行重新程式設計的對抗性攻擊
......
。這些結果證明了深度神經網路存在令人驚訝的靈活性和脆弱性。」它的工作原理如下：惡意行為者獲得了正在執行任務的敵手神經網路的引數，然後以轉換的形式引入擾動或對抗資料，並藉以輸入影象。隨著對抗性輸入被饋送到網路中，它們會將網路學習到的特徵應用於執行新的任務。
科學家在六種模型中測試了該方法。通過嵌入來自mnist計算機視覺資料集的操縱輸入影象（大小在1到
10之間的黑色幀和白色方塊），他們成功使得所有六種演算法將計算目標改為計算影象中的方塊數，而不是識別像「白鯊」和「鴕鳥」這樣的物件。在第二個實驗中，他們強迫上述演算法對數字進行分類。在第三次也是最後一次測試中，他們讓模型識別來自
cifar-10
（乙個物體識別資料庫）的影象，而不是當初訓練它們的
imagenet
語料庫。
惡意行為者可以通過攻擊來竊取計算資源，例如，通過重新程式設計雲託管**服務中的計算機視覺分類器來解決影象驗證碼或挖掘加密貨幣。儘管該**的作者沒有在反饋神經網路（一種常用於語音識別的神經網路）中測試該方法，但據他們設想，成功的攻擊可能會導致這類演算法執行「一系列非常大的任務」。
研究人員寫道：「對抗性程式也可以被用做一種新方法，以實施更傳統的計算機黑客行為。例如，隨著手機被越來越多地用做人工智慧驅動的數字助理，對某些人的手機進行重新程式設計的可能性將會增加，方式是用對抗性影象或音訊檔案對這些手機進行攻擊。由於這些數字助理可以訪問使用者的電子郵件、日曆、社交**帳戶和信用卡，因而此類攻擊的後果也會變得更大。」
幸運的是，並不只有壞訊息。研究人員指出，隨機神經網路似乎比其他神經網路更不容易受到攻擊，並且對抗性攻擊可以使機器學習系統更易於調整用途、更靈活、更高效。儘管如此，研究人員寫道，「未來應該調查如何解決對抗性程式設計的性質和侷限性，以及防範的可能方法。」
安全研究人員發現入侵Nest溫控器的方法
智慧型家居已經進入了我們生活的方方面面，但智慧型裝置在帶來便利的同時也帶來了安全風險。之前我們已經討論過很多針對物聯網裝置的攻擊事件，近日我們又發現了乙個針對智慧型家居裝置的攻擊方式。入侵nest溫控器產品 trapx security的研究者演示了如何入侵聯網狀態下的nest 谷歌收購的智慧型家居...
神經網路方法的正規化 paradigm
總結nlp各種任務，基本都可以用乙個正規化來概括,那就是分類，本人總結看過的nn 目前看到的所有的任務nn雖然各有不同，但是最終都回歸到各種粒度的分類上面。也就是說我們現在的模型本質上都是在做分類，如果說有大佬可以舉出反例歡迎討論。paradigm y softmax nerual network ...
常見的神經網路的優化方法
sigmoid也有缺點，在反向傳播中，經過多層傳遞之後，梯度值會指數級地急劇減小 蓋由兩側平緩曲線引起 這使得引數的更新變得十分緩慢，若迭代次數不多，將會錯過最優解。因此使用relu函式，可以彌補這種梯度瀰散的問題。當然，在最終輸出層我們依然使用sigmoid函式，因為其最接近概率輸出分布。keep...