深度學習發展簡史

2021-09-27 05:59:47 字數 976 閱讀 7996

美國康奈爾大學計算機教授羅森布拉特提出了感知器(perceptron)的概念。

辛頓和美國心理學家魯梅哈特在兩層神經網路中提出了反向傳播演算法,大大減少了計算量。推動了神經網路在學術界的復甦。

辛頓在《科學》雜誌上發表了一篇文章,提出了深度網路的概念。辛頓還改革了傳統的訓練方式,增加了預訓練(pre-training)的過程,通過預訓練,他能為網路各個節點的權重快速找到乙個接近於最優值的解,之後再使用微調(fine-tuning)技術對整個網路的所有引數進行優化。這兩種技術的運用,大幅度減少了計算量和時間。為了形象描述這種多層神經網路的方法,辛頓給這種方法起了乙個新名字:深度學習。

史丹福大學教授李飛飛,普林斯頓大學教授李凱等華裔學者發起建立了乙個超大型的影象資料庫。這個資料庫建立之初,包含了320萬張影象。它的目的是以英文裡的8萬個名詞為基礎,根據每個詞收集500~1000張高畫質,最終形成乙個5000萬張的資料庫,這個資料庫就是 imagenet。

舉行第一屆 imagenet 影象識別競賽。冠軍團隊使用主流技術為支援向量機技術,識別錯誤率為28%。

imagenet 影象識別競賽冠軍團隊依然採用支援向量機技術,識別錯誤率為25.7%。

辛頓帶領團隊使用深度學習參加了 imagenet 影象識別大賽,將錯誤率大幅下降到15.3%,而排名第二的日本模型,錯誤率則高達26.2%,這個進步令人震驚,整個人工智慧領域都為之沸騰。此後,深度學習不斷創造奇蹟。2023年的imagenet競賽中,錯誤率被降到了11.5%,2023年被降到了7.4%,2023年為3.57%,2023年2.99%, 2023年為2.25%。

google 旗下 deepmind 團隊使用深度學習開發的 alphago 首次擊敗人類圍棋世界冠軍李世石。

在中國烏鎮圍棋峰會上,alphago 以 3:0 完勝排名第一的世界圍棋冠軍柯潔,圍棋界公認阿爾法圍棋的棋力已經超過人類職業圍棋頂尖水平。

Web發展簡史

定義 web world wide web 即全球廣域網,也稱為全球資訊網,它是一種基於超文字和http的 全球性的 動態互動的 跨平台的分布式圖形資訊系統。是建立在internet上的一種網路服務,為瀏覽者在internet上查詢和瀏覽資訊提供了圖形化的 易於訪問的直觀介面,其中的文件及超級鏈結將...

Web發展簡史

第一階段的web,主要是用於靜態web頁面的瀏覽。使用者使用客戶機端的web瀏覽器,可以訪問internet上各個web站點,在每乙個站點上都有乙個主頁 home page 作為進入乙個web站點的入口。每一web頁中都可以含有資訊及超文字連線,超文字連線可以帶使用者到另一web站點或是其它的web...

示波器發展簡史

示波器是一種用途十分廣泛的電子測量儀器。他能把肉眼看不見的電訊號變換成看得見的影象,便於人們研究各種電現象的變化過程。有些人覺得乙個萬用表就可以打天下,為什麼要花時間精力學習示波器呢?一句話概括,時代不同了。現在的電子器材系統繁雜度和工作頻率,都不是以前一台黑白電視機 收音機之類的能夠比擬的。學會使...