深度學習領域最新成果——「動態外科手術」演算法
雷鋒網2023年09月28日
瀏覽量：
495本文為英特爾中國研究院最新研究成果，主要介紹了乙個名為「動態外科手術」演算法，有效地解決了處理大型網路時重訓練時間長，誤剪枝率高的問題。利用該演算法，我們可以輕易地將lenet和alexnet這兩個經典網路的引數總量分別壓縮108倍和17.7倍。
英特爾中國研究院於近期提出了一種名為「動態外科手術」的神經網路壓縮演算法，獲得了業內的廣泛關注以及國內外專家的高度評價。利用該方法，研究人員可以在保證原始模型效能不降的前提下大幅度壓縮網路結構。讓我們帶您一起深入淺出地理解這一演算法。
如果您有定期關注it、網際網路新聞的習慣，想必不會對深度學習（deep learning）一詞感到陌生。深度學習的概念源於早期的針對人工神經網路的研究，其理念的核心在於通過深層神經網路（deep neural networks）完成對樣本資料抽象表示的「學習」。自2023年深度學習的概念被首度提出，如今已經極大程度地改變了人工智慧乃至整個網際網路、it領域的生態。經過十年的發展，該技術在包括人臉識別、語音識別、物體檢測和自然語言處理在內的多個領域都表現出了頂尖的效能。
主流的深度網路之一：深度卷積神經網路
然而，深度學習距離「天下無敵」也還有一定的距離。制約其發展的主要瓶頸之一是深度網路極高的模型複雜度和消費級電子產品極有限的硬體資源之間的矛盾。事實上，時下許多主流的深度網路都包含千萬級甚至是過億的學習引數，而如此海量的引數給模型的儲存和計算都帶來了相當大的壓力。因而，如何對訓練好的深度網路進行壓縮就成了困擾研究人員的一大難題。2023年的**learning both weights and connections for efficient neural networks提出了一種網路剪枝（network pruning）演算法，可以在保持資料表示能力的前提下，將深度網路中的學習引數壓縮10倍以上，在學界引起了廣泛討論。該**也被發表在機器學習領域的頂級國際會議神經資訊處理系統大會（conference on neural information processing systems,以下簡稱「nips」），獲得了巨大的影響力。
神經網路剪枝策略
今年，英特爾中國研究院認知計算實驗室郭怡文、姚安邦和陳玉榮三位研究員在深度學習領域取得突破性進展。他們所提出的動態外科手術（dynamic network surgery）演算法，極其有效地解決了處理大型網路時重訓練時間長，誤剪枝率高的問題。利用該演算法，我們可以輕易地將lenet和alexnet這兩個經典網路的引數總量分別壓縮108倍和17.7倍。
英特爾中國研究院認知計算實驗室郭怡文、陳玉榮和姚安邦
該演算法採取了剪枝與嫁接相結合、訓練與壓縮相同步的策略完成網路壓縮任務。通過網路嫁接操作的引入，避免了錯誤剪枝所造成的效能損失，從而在實際操作中更好地逼近網路壓縮的理論極限。
動外科手術策略
（虛線代表當前被切斷的網路連線，而綠線代表通過嫁接重新建立的網路連線[2]）
深度學習革命性成果
lifelong dnn 克服了神經網路的災難性遺忘問題，今年第三季度發售，還沒公布技術細節。neurala 的待決專利軟體 lifelong dnn lifelong deep neural networks 克服了神經網路的災難性遺忘問題，這是限制神經網路實時使用的一大問題。neurala 昨日...
深度學習領域有什麼瓶頸？
知乎 深度學習領域有哪些瓶頸？peng bo的回答 知乎 個人認為，當前深度學習的瓶頸，可能在於 scaling。是的，你沒有聽錯。我們已經有海量的資料，海量的算力，但我們卻難以訓練大型的深度網路模型 gb 到 tb 級別的模型 因為 bp 難以大規模並行化。資料並行不夠，用模型並行後加速比就會大打...
有關深度學習領域的幾點想法
今天早上吃完飯，在去往實驗室的路上，腦袋了突然冒出乙個奇怪的想法，就是萬一將來人家公司的hr問我 既然你是做deeplearning研究的，那你對深度學習有什麼個人體會？我該怎麼說呢？因此為了應對這一丟丟的可能性，我就在食堂去往實驗室的路上，用這二十分鐘的時間稍稍把自己腦子中的想法總結總結，現在到了...