神經網路簡史

作者|sanya4 編譯|vk **|analytics vidhya

介紹現在神經網路無處不在。各大公司都在硬體和人才上大肆揮霍，以確保他們能夠構建最複雜的神經網路，並推出最好的深度學習解決方案。

雖然深度學習是機器學習的乙個相當古老的子集，但直到20世紀10年代初，它才得到應有的認可。今天，它已經風靡全球，吸引了公眾的注意。

在本文中，我想對神經網路採取一種稍微不同的方法，並了解它們是如何形成的。

神經網路的起源

神經網路領域最早的報道始於20世紀40年代，沃倫·麥卡洛克和沃爾特·皮茨嘗試用電路建立乙個簡單的神經網路。

下圖顯示了乙個mcp神經元。如果你學的是高中物理，你會發現這看起來很像乙個簡單的nor門。

l**展示了借助訊號的基本思想，以及如何通過轉換所提供的輸入做出決策。

mcculloch和pitts的**提供了一種用抽象的術語描述大腦功能的方法，並表明神經網路中連線的簡單元素可以具有巨大的計算能力。

儘管它具有開創性的意義，但這篇**幾乎沒有引起人們的注意，直到大約6年後，唐納德·赫伯（下圖）發表了一篇**，強調了神經通路每次被使用時都會加強。

請記住，那時計算機還處於初級階段，ibm在2023年推出了第一台pc（ibm5150）。

我們今天所知的lstm是在2023年發明的。

如果90年代已經打下了這麼多基礎，為什麼要等到2023年才能利用神經網路完成深度學習任務？

硬體與網際網路的興起

深度學習研究遇到的乙個主要挑戰是缺乏可重複的研究。到目前為止，這些進展都是理論驅動的，因為可靠資料的可用性很低，硬體資源有限。

在過去的二十年裡，硬體和網際網路領域取得了長足的進步。在20世紀90年代，ibm個人電腦的ram為16kb。在2023年，個人電腦的平均內存在4gb左右！

現在，我們可以在我們的電腦上訓練乙個小型模型，這在90年代是無法想象的。

遊戲市場在這場革命中也扮演了重要角色，像nvidia和amd這樣的公司在超級計算機上投入巨資，以提供高階虛擬體驗。

隨著網際網路的發展，為機器學習任務建立和分發資料集變得容易得多。

從wikipedia中學習和收集變得更容易。

2023年：我們的深度學習時代

imagenet:2023年，現代深度學習時代的開始，史丹福大學的李飛飛建立了imagenet，這是乙個大型的視覺化資料集，被譽為是在世界範圍內催生人工智慧革命的專案。

早在2023年，李是伊利諾伊大學香檳分校的新教授。她的同事們會不斷地討論新的演算法來做出更好的決策。然而，她看到了他們計畫中的缺陷。

如果在反映真實世界的資料集上訓練，那麼最好的演算法也不會執行得很好。imagenet由超過2萬個類別的1400萬張影象組成，到目前為止，仍然是物體識別技術的基石。

公開競爭：2023年，netflix舉辦了乙個名為netflix prize的公開競賽，以**電影的使用者收視率。2023年9月21日，bellkor的務實混沌團隊以10.06%的優勢擊敗了netflix自己的演算法，獲得了100萬美元的獎金。

kaggle成立於2023年，是乙個面向全球所有人舉辦機器學習競賽的平台。它使研究人員、工程師和本土的程式設計師能夠在解決複雜的資料任務時突破極限。

在人工智慧繁榮之前，人工智慧的投資約為2000萬美元。到2023年，這項投資增長了20倍，谷歌、facebook和亞馬遜等市場領導者呼出資金，進一步研究未來的人工智慧產品。這一波新的投資浪潮使得深度學習領域的招聘人數從幾百人增加到數萬人。

結尾儘管起步緩慢，但深度學習已經成為我們生活中不可避免的一部分。從netflix和youtube推薦到語言翻譯引擎，從面部識別和醫學診斷到自動駕駛汽車，沒有乙個領域是深度學習沒有觸及的。

這些進展拓寬了神經網路在改善我們生活質量方面的未來範圍和應用。

人工智慧不是我們的未來，而是我們的現在，它才剛剛開始！

sklearn機器學習中文官方文件：