計算機發展到今天，已經大大改變了我們的生活，我們已經進入了智慧型化的時代。但要是想實現影視作品中那樣充分互動的人工智慧與人機互動系統，就不得不提到深度學習。2023年4月15日，nvidia在北京舉行"gpu計算開啟深度學習的大門"主題分享會，與廣大**分享了其在gpu研發方面取得的成績和最新的研究成果。借助3月底在美國gtc(gpu技術大會)發布的最新資訊，本次分享會也圍繞深度學習進行了產品、技術、行業趨勢等多個方面的分析。會後，我們也有幸採訪到了包括nvidia全球副總裁、psg兼雲計算業務中國區總經理ashok pandey在內的nvidia高層和技術人員，聽聽nvidia如何推動深度學習相關研究的發展。
搭建gpu在中國的產業鏈與生態環境
相比之前在遊戲、視覺效果中的應用，gpu正在成為資料中心、超算中心的標配，並廣泛應用於深度學習、大資料、石油化工、傳媒娛樂、科學研究等行業。nvidia全球副總裁、psg兼雲計算業務中國區總經理ashok pandey在大會上就曾表示：「"gpu計算正在加速著深度學習革命，作為深度學習研究技術平台領導廠商，nvidia將為中國的深度學習提供更多的技術平台和解決方案，並繼續與中國的合作夥伴一起積極參加和推動深度學習生態鏈的構建。"事實上在pandey看來，nvidia在gpu計算或者說深度學習領域已經形成了完整的平台，"並通過這個平台讓更多的合作夥伴實現了業務互動，形成了產業鏈發展。
「客戶最終關心的是乙個整體的解決方案。在中國，你要提供整體解決方案，那你離不開像曙光、浪潮、聯想這樣的伺服器公司;也肯定需要我們的框架，比如cudnn、cuda等等，還有離不開像caffe、theano這些基於開源客戶化的一些平台。」pandey非常了解中國的市場情況，他所負責的psg業務部門多年來也與曙光、浪潮展開了密切的合作，通過共建實驗室等方式實現了技術上的相互支援。近年來，nvidia與聯想的接觸也逐漸增多，特別是在伺服器相關的領域也開始了逐步的合作。在談到這個問題的時候，pandey表示「現在正處於積極的洽談交流階段。」
幾乎所有深度學習的研究者都在使用gpu
熟悉深度學習的人都知道，深度學習是需要訓練的，所謂的訓練就是在成千上萬個變數中尋找最佳值的計算。這需要通過不斷的嘗試實現收斂，而最終獲得的數值並非是人工確定的數字，而是一種常態的公式。通過這種畫素級的學習，不斷總結規律，計算機就可以實現像像人一樣思考。如今，幾乎所有的深度學習(機器學習)研究者都在使用gpu進行相關的研究。當然，我說的是「幾乎」。除了gpu之外，包括mic和fpga也提供了不同的解決方案。nvidia如何看待不同的硬體架構對深度學習的影響，又是如何評價這些技術的呢?
nvidia中國區解決方案架構工程總監羅華平認為：「技術發展和科技的發展，是需要不同的技術一起來參與。無論是gpu也好、fpga也好或者是專用的神經網晶元也好，它的主要目的都是推動深度學習(機器學習)這個方向的技術發展。那麼我們在初期，確實可以嘗試不同的技術，來**哪種技術可以更好的適合這項應用。從目前來看，深度學習大量的使用，主要集中在訓練方面。那麼在這個領域，gpu確實是非常適合的，這也體現在所有的這些工業界的大佬如bat、谷歌，facebook等等，都在使用gpu在做訓練。」而除了訓練之外，在實際的應用方面，nvidia也正在結合中國地區idc機房普遍具備的功耗、網路等特點，「考慮是否設計低功耗的gpu，來滿足使用者的需求」。
除了硬體方面的因素之外，英偉達中國區技術經理賴俊傑也從軟體方面解答了gpu對於深度學習應用的價值。首先從深度學習應用的開發工具角度，具備cuda支援的gpu為使用者學習caffe、theano等研究工具提供了很好的入門平台。其實gpu不僅僅是指專注於hpc領域的tesla，包括geforce在內的gpu都可以支援cuda計算，這也為初學者提供了相對更低的應用門檻。除此之外，cuda在演算法和程式設計上相比其他應用更加容易，通過nvidia多年的推廣也積累了廣泛的使用者群，開發難度更小。最後則是部署環節，gpu通過pci-e介面可以直接部署在伺服器中，方便而快速。得益於硬體支援與軟體程式設計、設計方面的優勢，gpu才成為了目前應用最廣泛的平台。
深度學習發展遇到瓶頸了嗎?
我們之所以使用gpu加速深度學習，是因為深度學習所要計算的資料量異常龐大，用傳統的計算方式需要漫長的時間。但是，如果未來深度學習的資料量有所下降，或者說我們不能提供給深度學習研究所需要的足夠資料量，是否就意味著深度學習也將進入「寒冬」呢?對此，賴俊傑也提出了另外一種看法。「做深度神經網路訓練需要大量模型，然後才能實現數學上的收斂。深度學習要真正接近**的智力，它所需要的神經網路規模非常龐大，它所需要的資料量，會比我們做語言識別、影象處理要多得多。假設說，我們發現我們沒有辦法提供這樣的資料，很有可能出現寒冬」。
不過他也補充認為——從今天看到的結果來說，其實深度學習目前還在蓬勃發展往上的階段。比如說我們現階段主要做得比較成熟的語音、影象方面，整個的資料量還是在不斷的增多的，網路規模也在不斷的變複雜。現在我沒有辦法**，將來是不是會有一天資料真不夠用了。
對於nvidia來說，深度學習是gpu計算發展的大好時機，也是繼hpc之後乙個全新的業務增長點。正如pandey所提到的那樣，nvidia將世界各地的成功經驗帶到中國，包括國外的成功案例、與合作夥伴的良好關係等等，幫助中國客戶的快速成長。「因為現在是網際網路的時代，是沒有跨界的時代，大家都是同等一起的。」
（深度學習）為什麼GPU比CPU慢？
gpu由於擅長矩陣運算，在深度學習尤其是計算機視覺方面得到了廣泛的應用。前幾天在我廢了好大勁在我的的電腦上安裝了tensorflow 2.0 gpu，然後就迫不及待地去體驗一下gpu的速度。我去tensorflow官網上直接複製了一段 就是最簡單的神經網路識別mnist手寫數字資料集。然後分別用gp...
為什麼需要深度學習
為了科研專案的需求，作為在博一快結束時轉而進行機器學習領域的研究。周圍沒有同事從事相關的研究，用最快的速度完成了對機器學習和深度學習的了解。我感覺經常問自己的乙個問題就是為什麼要從機器學習到深度學習？對我的科研工作有沒有幫助。我主要看了兩個資料 deep learning book mit intr...
為什麼是深度學習
是不是深度學習的hidden layer越多越好，我們並不是單純的研究引數增多的所帶來的效能改善，我們關注的是相同的引數情況下，是不是深度越深越好。那麼是什麼樣的原因出現上邊的情況呢？乙個合理的解釋就是modularization。modularization把本來複雜的問題變簡單，即使traini...