編譯：科技行者
就當下來看，ai領域實現突破性進展的深度學習模型，其規模越大，能耗和成本也隨之增加。自然語言處理模型gpt-3就是個典型的例子，為了能夠在準確性與速度方面與人類相匹敵，該模型包含1750億個引數、占用350 gb記憶體並產生高達1200萬美元的模型訓練成本。而且單從成本來看，大家應該就能體會到它所消耗的海量能源。
umass amherst的研究人員們發現，訓練大型ai模型所需要的算力往往對應超過60萬英磅二氧化碳排放量，相當於五颱家用汽車在整個使用週期內的全部排放！
更要命的是，這些模型在實際生產環境中（即推理階段）還需要耗費更多能源以不斷產出分析結論。根據英偉達的估算，神經網路模型執行所產生的成本有80%至90%來自推理階段、而非訓練階段。
因此有觀點認為，要保持ai技術的快速進步，我們必須想辦法找到一條具備環境可持續性的道路。但事實證明，我們完全可以將大規模模型縮減為能夠執行在日常工作站或伺服器上的大小，且幾乎不影響準確性與速度。
下面，我們先來聊聊為什麼機器學習模型總是這麼龐大臃腫。
當前，計算能力每3到4個月即翻一番
來自openai的研究證明，目前整體行業都處於這樣的公升級迴圈當中。2023年至2023年期間，深度學習模型的計算能力每3到4個月就翻一番。這意味著六年時間內，ai計算能力增長達驚人的30萬倍。如前所述，這些算力不僅可用於訓練演算法，同時也能在生產環境中更快帶來分析結果。但mit的最終研究則表明，我們達到計算能力極限的時間可能遠遠早於大家的想象。
更重要的是，資源層面的限制導致深度學習演算法開始成為極少數組織的專屬。我們當然希望使用深度學習從醫學影像中檢測癌細胞變化、或者在社交**上自動清除仇恨言論，但我們也確實無法承受體量更大、耗電量更高的深度學習模型。
未來：少即是多
幸運的是，研究人員們發現了多種新方法，能夠使用更智慧型的演算法縮小深度學習模型，並重新調整訓練資料集的使用方式。如此一來，大型模型也能夠在配置較低的小規模生產環境內執行，並繼續根據用例提供必要的結果。
這些技術有望推動機器學習大眾化，幫助那些沒有充足金錢或資源的組織也能訓練演算法並將成果投入生產。這一點對於無法容納專用ai硬體的「邊緣」用例顯得尤其重要，包括攝像機、汽車儀表板以及智慧型手機等小型裝置。
研究人員們一直嘗試刪除神經網路內的某些非必要連線，或降低某些數**算的複雜性等方式縮小模型體積。這些更小、更快的模型能夠在任意位置以類似於大型模型的準確度與效能保持執行。如此一來，我們不再需要瘋狂追求極致算力，也就有望緩解對環境的重大破壞。事實上，縮小模型體量、提公升模型效率已經成為深度學習的未來發展方向。
另乙個重要問題，則體現在針對不同用例在新資料集上反覆訓練大型模型方面。遷移學習技術有望消除此類問題——這項技術以預訓練完成的模型作為起點，能夠使用有限的資料集將模型知識「遷移」至新任務當中，因此我們不必從零開始重新訓練初始模型。這既是降低模型訓練所需算力的重要手段，也將極大緩解ai發展給自然環境帶來的能源壓力。
底線在哪？
只要有可能，模型應當、也必須尋求「**」以降低算力需求。
另外，模型得到的知識應該可以**並再次利用，而不必每次都從零開始執行深度學習訓練過程。最終，一切有望降低模型規模、削減算力消耗（而不會影響效能或準確性）的方法都將成為解放深度學習能量的重要新機遇。
如此一來，任何人都能夠以較低的成本在生產環境中執行這些應用程式，同時極大減輕對自然環境造成的壓力。當「大ai」開始變小時，其中必將蘊藏無數新的可能。對於這樣的前景，我們充滿期待。
未來智慧型實驗室的主要工作包括：建立ai智慧型系統智商評測體系，開展世界人工智慧智商評測；開展網際網路（城市）雲腦研究計畫，構建網際網路（城市）雲腦技術和企業圖譜，為提公升企業，行業與城市的智慧型水平服務。
如果您對實驗室的研究感興趣，歡迎加入未來智慧型實驗室線上平台。
如何解決技術難題
在解決乙個技術難題時，難免要去借助他人智慧型，如果身邊就有大牛，那麼很好，當面詢問，當面搞定 但如果身邊沒有可尋求幫助的大牛，那麼又該怎麼辦呢？好吧，我總結了如下幾點 好，更進一步的資訊檢索 方法就是採用google引擎了，嘛，限於google的種種 劣跡 一般情況下，我們只能使用這樣的 進行goo...
小間距LED透明屏的3大難題及解決方案
傳統led透明屏解析度得到大幅提公升，小間距led透明屏就是在此基礎上的新產品，小間距透明屏是指led點間距在p2.5及以下透明屏的產品。目前小間距led顯示仍然存在3個有待調和的矛盾，如無法妥善解決會十分影響led透明屏的使用體驗 1 亮度降低帶來的灰度損失 室內與室外顯示應用最顯著的差別就是環境...
物聯網的四大難題 不解決這些 何談智慧型化？
本著要對消費產品 衛生保健 零售 生產等方面積極改革的信念，物聯網 iot 承諾要把人們身邊的所有事物都智慧型化 冰箱 汽車 建築物甚至油田，一切都將走向智慧型化。但物聯網也有它的陰暗面 如果我們不能解決它帶來的問題，那我們就有 煩了。想要弄清物聯網到底有什麼樣的隱患，最簡單的方法就是從它的配置下手...