nvidia發布了其 gpu 加速深度學習軟體的更新版本，這些軟體將令深度學習訓練的效能翻一番。
新軟體將讓資料科學家和研究人員能夠通過更快的模型訓練和更複雜的模型設計來創造更準確的神經網路，從而加速其深度學習專案和產品的開發工作。
nvidia digits 深度學習 gpu 訓練系統第 2 版 (digits 2) 和 nvidia cuda® 深度神經網路庫第 3 版 (cudnn 3) 可提供大幅提公升的效能和全新的功能。
對資料科學家來說，digits 2 現在能夠在多顆高效能 gpu 上實現神經網路訓練的自動擴充套件。與單一 gpu 相比，這種擴充套件在影象分類方面能夠令深度神經網路訓練的速度翻一番。
對深度學習的研究人員來說，cudnn 3 可優化 gpu 記憶體中的資料儲存，從而能夠訓練更大、更複雜的神經網路。cudnn 3 還能夠提供高於 cudnn 2 的效能，讓研究人員在單一 gpu 上最高可令神經網路訓練速度達到兩倍。
全新的 cudnn 3 庫預計將整合到 caffe、minerva、theano 以及 torch 等深度學習框架的未來版本中，這些框架被廣泛用於訓練深度神經網路。
nvidia 加速計算副總裁 ian buck 表示: 「高效能 gpu 是為大學與大型網路服務公司支撐深度學習研究與產品開發的基礎性技術。我們正與資料科學家、框架開發者以及深度學習社群密切合作，以便運用最強大的 gpu 技術、突破目前的極限。」
digits 2 – 憑藉自動多 gpu 擴充套件最高可實現兩倍訓練速度
digits 2 是首個一體式圖形系統，它在影象分類方面可指導使用者完成設計、訓練以及驗證深度神經網路的整個過程。
digits 2 中全新的自動多 gpu 擴充套件功能通過在系統中的所有 gpu 上自動分配深度學習訓練任務，從而能夠最大限度地增加可用的 gpu 資源。利用 digits 2，在四顆 nvidia maxwell™ 架構 的gpu 上，nvidia 的工程師令著名的 alexnet 神經網路模型的訓練速度達到了單一 gpu 的兩倍以上。早期客戶的初步成果呈現了更好的加速效果。
雅虎旗下 flickr **的人工智慧架構師 simon osindero 表示: 「在自動加標籤 (auto-tagging) 這方面，在單一 nvidia geforce gtx titan x 上訓練我們的乙個深度網路需要耗費大約 16 天時間，但是如果在四顆 titan x gpu 上利用全新的自動多 gpu 擴充套件功能，整個訓練只需 5 天即可完成。這是乙個巨大的進步，它讓我們能夠更快地看到結果，還讓我們能夠在模型方面進行更廣泛地探索以便實現更高的精度。」
cudnn3 – 更快地訓練更大、更複雜的模型
cudnn 是一款用於深度神經網路的 gpu 加速數學例程庫，開發者可以將其整合到更高階的機器學習框架中。
cudnn3 在 gpu 記憶體中新增了對 16 位浮點資料儲存的支援，使可儲存的資料量翻了一番，優化了記憶體頻寬。憑藉這一功能，cudnn 3 讓研究人員能夠訓練更大、更複雜的神經網路。
至於在單一 gpu 上訓練神經網路，cudnn 3 也能夠實現大大高於 cudnn 2 的效能。它讓 nvidia 工程師在單一 nvidia geforce gtx titan x gpu 上訓練 alexnet 模型時實現了兩倍的速度。
原文發布時間為：
2023年07月31日
NVIDIA發布深度學習戰略
3月在美國舉辦的gtc2015沒去成，頗感遺憾。一是沒法第一時間領略最新的技術，二則因為簽證連續被拒兩次，下次去還不知道得啥時候了。不過，近日nvidia 英偉達 在京舉辦的以 gpu計算開啟深度學習的大門 為主題的nvidia專業解決方案2015戰略發布會也算稍稍彌補了其中的乙個缺憾。這次發布會都...
深度學習 如何訓練網路
目的 快速 有效地擬合。手段 隨機批處理 學習率 批規範化 模型優化演算法 遷移學習。隨機批處理，mini batch，一種在模型每輪 epoch 訓練進行前將訓練資料集隨機打亂 shuffle 的 訓練機制。可以防止被模型猜到 出樣本順序 作用 防過擬合。學習率，learning rate，控制模...
深度學習之訓練trick
1 google研究員ilya sutskever 成功訓練ldnn的13點建議 本文由ilya sutskever google研究員 深度學習泰斗geoffrey hinton的學生 dnnresearch聯合創始人 所寫，講述了有關深度學習的見解及實用建議，包括深度學習為什麼強大，如何強大，以...