**知乎：深度學習領域有哪些瓶頸？ - peng bo的回答 - 知乎
個人認為，當前深度學習的瓶頸，可能在於 scaling。是的，你沒有聽錯。
我們已經有海量的資料，海量的算力，但我們卻難以訓練大型的深度網路模型（gb 到 tb 級別的模型），因為 bp 難以大規模並行化。資料並行不夠，用模型並行後加速比就會大打折扣。即使在加入諸多改進後，訓練過程對頻寬的要求仍然太高。
這就是為什麼 nvidia 的 dgx-2 只有 16 塊 v100，但就是要賣到 250 萬。因為雖然用少得多的錢就可以湊出相同的總算力，但很難搭出能高效運用如此多張顯示卡的機器。
而且 dgx-2 內部的 gpu 也沒有完全互聯：
又例如 alphago zero 的訓練，實際用於訓練的只是很少的 tpu。即使有幾千幾萬張 tpu，也並沒有辦法將他們高效地用於訓練網路。
如果什麼時候深度學習可以無腦堆機器就能不斷提高訓練速度（就像挖礦可以堆礦機），從而可以用超大規模的多工網路，學會 pb eb 級別的各類資料，那麼所能實現的效果很可能會是令人驚訝的。
那麼我們看現在的頻寬：
list of inte***ce bit ratesen.wikipedia.org
2023年出了pci-e 3.0 x16，是 15.75 gb/s，現在消費級電腦還是這水平，4.0還是沒出來，不過可能是因為大家沒動力（遊戲對頻寬要求沒那麼高）。
nvlink 2.0是 150 gb/s，對於大型並行化還是完全不夠的。
大家可能會說，頻寬會慢慢提上來的。
很好，那麼，這就來到了最奇怪的問題，我想這個問題值得思考：
我的想法是：
remark：最後對人腦學習的總結值得學習！
深度學習瓶頸
1.需要大量樣本 雖然有一些方法可以減少對資料的依賴，比如遷移學習 少樣本學習 無監督學習和弱監督學習。但是到目前為止，它們的效能還沒法與監督學習相比。2.過度擬合基準資料 3.對影象變化過度敏感 對於任何乙個目標物件，資料集中只有有限數量的場景。在實際的應用中，神經網路會明顯偏向這些場景。組合 就...
機器學習和深度學習有什麼區別
機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。它是人工智慧的核心，是使計算機具有智慧型的根本途徑，...
大資料與深度學習有什麼區別？
簡單來說 1 深度學習 deep learning 只是機器學習 machine learning 的一種類別，乙個子領域。機器學習 深度學習 2 大資料 big data 不是具體的方法，甚至不算具體的研究學科，而只是對某一類問題，或需處理的資料的描述。2 深度學習 deep learning 是...