無監督學習,遷移學習和工程設計
ai系統與人類學習之間的另乙個主要差異在於ai系統所需的大量標記資料才可以達到人類級別的效能。例如,最近的語音識別系統在11940小時的語音訓練後才能對齊轉錄。如果我們每天大聲地聽到另乙個人類閱讀文字兩個小時,那麼我們需要16年才能獲取到這個資料集。alphagozero練習了490萬場才擊敗人類圍棋大師。如果乙個人每天玩圍棋30年,那麼他每天必須玩450場比賽才能達到alphagozero的練習量。此外,最近關於視覺問答的資料集包含了0.25m影象,0.76m問題和10m答案。如果我們每天收到關於影象的100個問題的答案,我們需要274年的時間來吸收這種規模的資料集。很明顯人類接受的標記訓練資料量要少得多,但他們可以識別語音,玩圍棋並很好地回答有關影象的問題。
其中,人工智慧和生物智慧型之間差距的幾個關鍵在於人類從未標記資料中學習的能力(無監督學習),以及在解決先前任務時獲得的強大先驗知識,並將這些知識轉移到新任務中(遷移學習)。最後,人類社會建立了教育系統,精心挑選一些學習任務進行教學,以促進知識獲取。為了在人工系統中有效地例項化這些概念,我們需要更深入地理解和數學形式化人類和其他動物如何進行無監督學習及知識如何在任務之間轉移,這需要計算機科學家、心理學家和教育工作者的參與。因為這對於在標記資料稀缺的領域中訓練ai是至關重要。
:史丹福大學進行了26個不同的視覺任務之間遷移學習的研究。
建立理解,規劃和主動因果學習的世界模型
當前ai在商業環境中的成功很多是通過監督方法實現的,其中ai系統被動地接收輸入,被告知正確的輸出,並且它調整其引數以匹配每個輸入-輸出組合。相比之下,嬰兒就像活躍的科學家一樣探索他們的環境。例如:利用魔術,嬰兒會看到兩個「魔法」物體:物體a,它似乎穿過牆壁,而物體b,它在掉落時不會掉落。給嬰兒a,b,嬰兒將嘗試將物體a穿過牆壁,然後放下物體b以檢視它是否會掉落。這項非凡的實驗表明,嬰兒就像科學家一樣,積極地探索他們的世界。
因此,與當前大多數的商業ai系統不同,嬰兒具有學習和利用世界模型的卓越能力。我們需要在神經科學和人工智慧方面進一步研究從經驗中學習世界模型,使用這些世界模型進行規劃(即,根據當前行動想象不同的未來),並使用這些未來的計畫來做出決策。這種基於模型的規劃和決策可能是當前無模型強化學習系統的有力支援,該系統簡單地將世界狀態對映到值或預期的未來獎勵。人工智慧中的這項工作可以與神經科學的工作攜手並進,揭示動物的神經活動如何與想象的和未來相關。像好奇心這樣的基本驅動可以形式化為強化學習系統,以此來促進學習和探索。更一般地,深入理解多個系統和促進動物和人類學習的內在生物驅動可能對加速人工系統的學習非常有益。
科學家發現他的感官體驗統計資料有變化
在後摩爾定律時代實現節能計算
生物系統和ai系統之間的另乙個數量級差異在於它們的能量消耗。人腦僅消耗20瓦的功率,而超級計算機則以兆瓦的功率執行。造成這種差異的乙個關鍵原因可能是過度依賴數字計算本身,雖然數字革命推動了現代資訊科技的興起,但現在我們對實現人工智慧的追求被認為是次優遺留技術。原因是數字計算需要在計算的中間階段以極高的可靠性翻轉每一位。然而,熱力學定律則為每個快速可靠的位翻轉確定了相當大的能量成本。
相比之下,生物的細胞內的分子以及腦內神經元的計算看起來令人驚訝地嘈雜和不精確。然而,生物計算的每個中間步驟都足夠可靠,以使最終答案足夠好。此外,大腦智慧型地向上或向下調節能量成本根據所需的通訊速度。例如,考慮大腦中通過目標神經元的單位的成本。它開始於囊泡的隨機釋放,其以1公釐/秒的速度擴散到源神經元和目標神經元之間的空間,僅燃燒2.3毫微微焦耳(fj)。速度剛剛好,因為神經元連線之間的空間只有20奈米。該化學訊號被轉換為無源電訊號,其以1公尺/秒的速度流過神經元細胞體,燃燒23fj橫穿約10微公尺。最後,它到達軸突終端並轉換為長軸,沿著軸突每秒行進100公尺,燃燒6000 fj行進1厘公尺。因此,在從化學訊號傳遞到被動電訊號時,大腦動態地將通訊速度上調1000倍,以跨越增加1000倍的距離,從而導致能量消耗增加10倍。
因此,只有在需要更高速度且僅需要更高可靠性時,大腦才會消耗更多能量。相比之下,數字計算機在剛性同步時鐘上執行,並且在每個時鐘週期,許多電晶體必須可靠地翻轉狀態。總之,生物計算的明顯混亂不一定是不可避免的混亂,而是可能反映出高能效設計的理想原則。為了在我們的ai硬體中實現這樣的效率,遵循生物計算的這些原則可能是必要的。
neurogrid:由斯坦福大腦
開發的一種生物啟發的神經形態計算機。
用於ai的神經科學和神經科學的ai:一種良性的科學螺旋
最近神經科學和ai之間相互作用促進了深度和遞迴神經網路模型的發展。在許多情況下,當訓練深度或遞迴網路來解決任務時,其內部表現看起來與訓練為解決相同任務的動物中測量的內部神經活動模式非常相似。因此,我們通常會在不同的任務中獲得不同大腦區域操作的高度複雜但令人驚訝的真實模型,從而提出了乙個基本問題:我們如何理解這些模型正在做什麼以及它們如何工作?更確切地說,學習網路連線和神經動態如何產生高效能?ai目前在理解它的神經模型正在做什麼時面臨同樣的問題,雖然一些工程師認為沒有必要了解神經網路是如何工作的。然而,對於當前網路的成功和失敗如何因其連通性和動態性而產生的更深入的科學理解將導致網路的優化。然而,科學與技術之間的相互作用歷史上幾乎沒有更深入的科學認識,也不會導致更好的技術。但是,在ai的某些應用中,特別是在醫學診斷或法律中,可解釋的ai是必不可少的。例如,如果醫生和法官無法理解為什麼這些系統做出了他們做出的決定,他們就不會在他們的案件中使用人工智慧系統的建議。
因此,神經科學需要共享理解網路效能和決策如何作為網路連線和動態的新興屬性。因此,理論神經科學,應用物理學和數學的思想和理論的發展可以幫助分析ai系統。此外,ai系統的行為可能會改變神經科學中實驗設計的本質,將實驗工作集中在ai中難以理解的網路功能方面。總體而言,神經科學,人工智慧和許多其他理論學科之間的緊密聯絡可以獲得很多靈感,這可能會為生物和人工系統中的智慧型的出現帶來統一的規律。
任務驅動的視覺系統卷積迴圈模型
可以同時執行機器視覺任務並解釋猴子視覺系統的動態
尋求管理生物和人工智慧的普遍規律
在人工智慧系統設計中,一種經常被引用的無視生物學的爭論常涉及到飛機與鳥類的比較。然而,仔細觀察這個想法會發現更多的細微差別。飛行的一般問題涉及解決兩個基本問題:(1)為了前進而產生推力,(2)公升力的大小使我們不會脫離天空。鳥類和飛機用不同方法解決了推力問題:鳥兒拍翅膀和飛機使用噴氣發動機。但是,它們以完全相同的方式解決公升力問題,通過使用彎曲的翼形,在低於和低於上方的氣壓下產生更高的氣壓。因此,滑翔的鳥類和飛機的運作非常相似。
實際上,我們知道空氣動力學的一般物理定律:不同形狀通過空氣時,都可以用計算的方法來**產生的力,如公升力和推力。而且,任何解決飛行問題的方法,無論是生物還是人工,都必須遵守空氣動力學定律。
更一般地說,在我們對物理世界的研究中,我們習慣於存在管理其行為的原則或規律。例如,正如空氣動力學控制飛行物體的運動一樣,廣義相對論控制著空間和時間的曲率,量子力學控制著奈米世界的演化。我們認為,可能存在普世原則或法律來管理智慧型行為如何從大型互連神經元網路的合作活動中產生。這些法律可以連線和統一神經科學、心理學、認知科學和人工智慧的相關學科,他們的闡述也需要幫助分析和計算領域,如物理,數學和統計學。事實上,這篇文章的作者使用了動力系統理論、統計力學、黎曼幾何、隨機矩陣理論和自由概率理論等技術,獲得了對生物和人工網路運作的概念性見解。然而,為了闡明管理非線性分布式網路**現智慧型的一般規律和設計原則,還需要進一步的工作,包括開發新概念,分析方法和工程能力。最終,就像鳥類,飛機和空氣動力學的故事一樣,創造智慧型機器的問題可能存在多種解決方案,其中一些元件在生物解決方案和人工解決方案之間共享,而其他元件則可能不同。通過尋求一般的智力法則,發現適用於生物和人工系統的新興智慧型的潛在法則,以及建立受神經科學和心理學啟發的新型ai,需要許多研究人員共同努力:計算機科學家追求更好的ai系統,神經科學家,心理學家和認知科學家探索大腦和思想的屬性,數學家,物理學家,統計學家和其他理論家尋求形式化我們的綜合知識並發現一般的法律和原則。
本文由阿里云云棲社群
組織翻譯。
surya ganguli
譯者:虎說八道,審校:。
文章為簡譯,更為詳細的內容,請檢視原文。
生物智慧型與AI 關乎創造 關乎理解(下)
摘要 原來人工智慧跟人類智慧型有那麼深的聯絡!無監督學習,遷移學習和工程設計ai系統與人類學習之間的另乙個主要差異在於ai系統所需的大量標記資料才可以達到人類級別的效能。例如,最近的語音識別系統在11940小時的語音訓練後才能對齊轉錄。如果我們每天大聲地聽到另乙個人類閱讀文字兩個小時,那麼我們需要1...
AI不是魔法 人工智慧的能與不能
如果把ai技術分為 前端的互動技術 和 後端的人工智慧技術 前端的互動技術包括語音識別 影象識別和自然語言處理 後端的人工智慧技術就是人工智慧的核心演算法,包括深度學習演算法 記憶 模型演算法等。這些前後端的人工智慧技術在應用又可分為四類 語音識別 影象識別 自然語言處理和使用者畫像。那麼在這四類具...
商業智慧型與web智慧型
業務背景 電信業,銀行,電商,智慧型產品等 思維框架 商業理解 資料理解 資料準備 建立模型 模型評估 模型應用 商業智慧型是通過對來自不同的資料來源進行統一處理及管理,通過靈活的展現方式來幫助企業進行決策支援 即 資料 資訊 知識 決策 crisp dm 跨行業資料探勘標準流程 基本應用過程 1,...