深度學習鼻祖傑夫 辛頓及巨頭們的人才搶奪戰

發表於 10小時前| 

csdn| 

魏偉大資料

深度學習

google

facebook

geoffrey hinton

人工智慧

摘要：深度學習已經誕生了數十年時間，但直到近幾年才受到各大科技公司的重視，被認為是矽谷科技企業的未來，今天為大家介紹的是深度學習的開山鼻祖geoffrey hinton。

我非常興奮，我們發現一種可以使神經網路變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候——geoff hinton

hinton本科階段在劍橋學習心理學，他意識到科學家們並沒有真正理解大腦——不能完全掌握數十億神經元之間的互動以及如何提公升智力。這些科學家可以解釋電訊號沿著乙個軸突連線乙個神經元到另乙個，但他們無法解釋這些神經元是如何學習或計算的。hinton認為這些都是大問題，答案可能最終讓我們實現2023年代人工智慧研究人員的夢想。

圖1： geoff hinton（ai領袖級人物，目前就職於google）

他也沒有答案，但他將盡全力尋找答案，至少改進的人工神經網路可以模擬人腦的某些方面。「我非常興奮，我們發現一種可以使神經網路變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，」hinton說，洋溢著青春的熱情。

這些人工神經網路可以收集資訊，並且能夠做出反應，它們可以理解東西看起來什麼樣或聽起來像什麼。當你將單詞組合起來，它們在做決定的時候會變得更聰明，而在完成這些過程中不需要人類提供物體或物件的標籤，這是傳統的的機器學習工具做不到的。

隨著人工智慧的發展，這些神經網路將更加快速、靈活、高效，它們隨著機器規模的增加而變得更加聰明，隨著時間的推移將能夠解決越來越多的複雜任務。

早在80年代初，當hinton和同事開始這個想法時，那時的電腦效能還遠遠不能處理神經網路需要的巨大資料集，成功是有限的，隨後人工智慧社群背棄了他們，轉而去尋找類人腦的捷徑，而不是嘗試模仿大腦的運作。

但仍然有一些研究人員堅定地支援hinton的工作。根據hinton和lecun回憶，這極為艱難，甚至直到2023年——已經是hinton和lecun第一次開發「反向傳播」演算法神經網路20年之後了——學術界對這些毫無興趣。

但是那一年，從加拿大先進專案研究所（cifar）拿到的極少量資金，並在lecun以及 bengio 的支援下，hinton建立了神經計算和自適應感知專案，這個專案只邀請一些計算機科學家、生物學家、電氣工程師、神經科學家、物理學家和心理學家。

通過招聘這些研究人員，hinton旨在建立乙個世界級的團隊，致力於建立模擬生物智慧型的模擬——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應對它的環境。hinton認為建立這樣乙個組織會刺激人工智慧領域的創新，甚至改變世界，事實證明，他是對的。

geoffrey hinton 曾感慨自己的學術生涯就像 ann （人工神經網路）一樣起起伏伏，所幸的是，這位 gatsby 的創立者一直沒有放棄 ann 的研究。他們為實現早期的想法，定期聚集在一起召開研討會，構建了更強大的深度學習演算法，操作更大的資料集。期間贏得全球人工智慧比賽，再然後網際網路的巨頭開始注意到他們。

2023年，一位ncap研究員和斯坦福的andrew ng在google建立了深度學習專案，今天，公司用神經網路在android手機和社交網路以及google +上標記影象。去年，hinton加入google公司，其目的是進一步把這項工作做的更為深入。

每年不到一百萬美元的cifar投資，hinton和他的夥伴們帶來的回報是豐厚的，這不僅發生在google也發生在一些國家，包括加拿大。

在這個過程中，hinton和ncap已經改變了這個曾經拋棄他們社群的面貌， 當下大學生們從傳統機器學習專案轉到深度學習這種現象無處不在了 。毫無疑問，現在深度學習是主流。「我們不再是極端分子了」hinton說，「我們現在可是炙手可熱的核心技術呢。 」

hinton也周遊世界並為深度學習積極布道，hinton有乙個習慣就是喜歡突然大喊：「我現在理解大腦是如何工作的了！」這很有感染力，他每週都會這樣做，你很難模仿。

通過ncap 和cifar，hinton開辦了一家暑期學校，致力於培養新一代的人工智慧研究人員。有這麼多的商業公司進入這一領域，這是比以往任何時候都更加重要。不僅僅是科技巨頭加入這個領域，我們也看到大量的深度學習初創公司包括ersatz,、expect labs以及 declara。

「我們希望把ai和cifar帶到乙個美妙的新領域，」hinton說，「乙個還沒有人或者程式到達的境界。」

和geoff hinton一起共同締造深度學習復興的大神還包括yoshua bengio（如圖2）和 yann lecun（圖3）教授，他們是hinton堅定的支持者。

yoshua bengio（如圖2）教授也是機器學習大神之一，他的研究工作主要聚焦在高階機器學習方面，致力於用其解決人工智慧問題。他是少有的幾個仍然全身心投入在深度學習學術界的教授之一，好多其他教授早已投身於工業界，加入了google或facebook公司。 

圖2：montreal大學教授及ai研究者 yoshua bengio

yann lecun和yoshua bengio不同，他目前就職於facebook，任facebook人工智慧研究院主任，也是人工智慧尤其是深度學習領域最知名的學者之一，在多倫多大學隨hinton讀博士後即加盟貝爾實驗室，期間研發了卷積神經網路（convolutional neural networks）與曾廣泛用於手寫識別和ocr的圖變換網路方法。2023年加入紐約大學，從事廣度與深度兼具的各類研究，涉及機器學習、計算機視覺、移動機械人和計算神經學。

圖3：紐約大學ai研究者及facebook人工智慧研究院的主任 yann lecun

毋庸置疑的是，深度學習以及整個人工智慧領域已成為網際網路巨頭競爭的乙個焦點。

montreal大學全職教授yoshua bengio表示：「深度學習現在炙手可熱，目前的困境是缺乏專家，乙個博士生大概需要五年的時間培養，但是五年前還沒有博士生開始從事深度學習，這意味著現在該領域的專家特別少，可以說彌足珍貴、極度稀缺。」

google2023年3月收購了一家名為dnnresearch的初創公司，這家公司隸屬多倫多大學計算機科學院，只有三個人——geoffrey hinton 與他的研究生學生 alex krizhevsky 和 ilya sutskever。之後，google今年1月份斥資4億美元收購人工智慧初創企業deepmind，deepmind由人工智慧程式師兼神經科學家demis hassabis等人聯合創立，是前沿的人工智慧企業，其將機器學習和系統神經科學的最先進技術結合起來，建立強大的通用學習演算法。另外，google還收購烏克蘭面部識別技術開發商viewdle。

twitter今年7月29日收購了基於深度學習的計算機視覺創業公司madbits。madbits這家公司是由facebook人工智慧實驗室主任yann lecun以前兩名學生創辦的，開發了可自動理解、組織和提取媒介內容資訊的視覺智慧型技術。這項基於深度學習的計算機視覺技術已經開發完成，正在測試。twitter上每天都會出現無數的。收購madbits可以幫助twitter推出諸如影象搜尋的功能，基於影象內容改進搜尋排名，甚至是通過分析影象來更好地理解人們的推文內容。

一項技術能夠快速成為主流，乙個主要原因就是能夠快速推出成熟的產品，深度學習也不例外，所以深度學習產品化是乙個大趨勢，追求不切實際的「天網」或者電影情節的高科技未免太急功近利、不切實際。目前 "深度學習"讓google產品在語音，文字和影象的識別上變得更加聰明，可以更準確地洞悉我們的資訊輸入，更人性化地理解我們的意圖。現在，每個安卓手機的語音識別以及google街景中的影象處理都有"深度學習"的影子。筆者認為，隨著深度學習的發展和科技公司加大投入，會有越來越多的產品推向市場。

深度學習（一）深度學習學習資料

持續更新 一 學習清單 1 收集了各種最新最經典的文獻，神經網路的資源列表 2 計算機視覺學習清單 3 機器學習學習清單 二 訓練資料 人臉資料 1 香港中文大學訓練資料集 此資料庫包含了20w張人臉，每張標註了5個特徵點 以及幾十種屬性 是否微笑 膚色 髮色 性別等屬性 2 68個人臉特徵點 3 ...

深度學習系列 深度學習簡介

機器學習 使用計算機系統利用經驗改善效能，是人工智慧領域的分支，也是實現人工智慧的一種手段。表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變換為正確的輸出。深度學習 具有多級表示的表徵方法，在每一級 原始資料開始 通過簡單的函式將該級的表示變換為更高階的表示。可以將深度學習看作多個簡單...

深度學習深度學習（一）開篇

深度學習 深度學習 記得9年前寫的一篇部落格，十年的程式設計師，一晃眼，差不多10年又快到了。這一輪的人工智慧，深度學習，他是我見到的乙個非常特殊的程式設計方式 用資料程式設計。是的，他絕對不像其他的程式語言，是完全乙個嶄新的天地，掌握她，絕對會帶來驚喜 你會發現以前感覺超級難的東西會忽然 哇，這個...