深度學習的歷史可以追溯到2023年，當時walter pitts和warren mcculloch建立了基於人腦神經網路的計算機模型。他們將演算法和數學方法結合在一起，稱之為「閾值邏輯」，以模仿思維過程。自那時以來，深度學習一直在穩步發展，其發展只有兩個重大突破。兩者都與臭名昭著的人工智慧冬天有關。
亨利·凱利（henry j. kelley）因在2023年開發了連續反向傳播模型的基礎而受到讚譽。2023年，斯圖爾特·德雷福斯（stuart dreyfus）開發了僅基於鏈式規則的簡單版本。雖然反向傳播（為了訓練目的而向後傳播誤差）的概念在2023年代初確實存在，但它笨拙且效率低下，直到2023年才有用。
最早開發深度學習演算法的工作是在2023年由alexey grigoryevich ivakhnenko（開發了資料處理的分組方法）和valentin grigorʹevich lapa（控制論與**技術的作者）開發的。他們使用具有多項式（複雜方程式）啟用函式的模型，然後進行統計分析。然後，從每一層將統計上最佳的功能**到下一層（緩慢的手動過程）。
在2023年代的第乙個ai冬季開始，因為深度學習和ai研究無法兌現諾言，從而影響了資金投入研究。
福島邦彥使用了第乙個「卷積神經網路」。福島設計了具有多個池化和卷積層的神經網路。 2023年，他開發了一種名為neocognitron的人工神經網路，該網路使用了分層的多層設計。這種設計使計算機能夠「學習」到視覺圖案。該網路類似於現代版本，但是經過強化策略的反覆迴圈啟用訓練，隨著時間的推移，該策略逐漸增強。此外，福島的設計允許通過增加某些連線的「權重」來手動調整重要功能。
neocognitron的許多概念繼續被使用。自上而下的連線和新的學習方法的使用已允許實現各種神經網路。當同時顯示多個模式時，選擇性注意模型可以通過將注意力從乙個模式轉移到另乙個模式來分離和識別各個模式。 （在多工處理中，我們許多人使用相同的過程）。現代的neocognitron不僅可以識別資訊缺失的圖案（例如，不完整的數字5），還可以通過新增資訊缺失來完善影象。這可以描述為「推斷」。
反向傳播，即在訓練深度學習模型中使用錯誤的方法，在2023年得到了顯著發展。那時seppo linnainmaa撰寫了他的碩士**，其中包括用於反向傳播的fortran**。不幸的是，直到2023年，該概念才應用於神經網路。那時rumelhart，williams和hinton證明了神經網路中的反向傳播可以提供「有趣的」分布表示。從哲學上講，這一發現使人們認識到人類理解是依賴符號邏輯（計算主義）還是分布式表示（聯絡主義）的認知心理學問題。 2023年，yann lecun在貝爾實驗室提供了反向傳播的第乙個實際演示。他將卷積神經網路與反向傳播結合到讀取的「手寫」數字上。該系統最終用於讀取手寫支票的數量。
這次也是第二個ai冬季（1985-90年代）開始的時候，這也影響了神經網路和深度學習的研究。各種過於樂觀的人誇大了人工智慧的「即時」潛力，超出了預期並激怒了投資者。憤怒如此強烈，「人工智慧」一詞達到了偽科學的地位。幸運的是，一些人繼續從事ai和dl的研究，並取得了一些重大進展。 2023年，dana cortes和vladimir vapnik開發了支援向量機（一種用於對映和識別相似資料的系統）。 sepp hochreiter和juergen schmidhuber於2023年開發了用於遞迴神經網路的lstm（長短期記憶）。
深度學習的下乙個重要的進化步驟發生在2023年，那時計算機在處理資料方面開始變得更快，並且開發了gpu（圖形處理單元）。使用gpu處理的處理速度更快，在10年的時間裡將計算速度提高了1000倍。在此期間，神經網路開始與支援向量機競爭。雖然與支援向量機相比，神經網路的速度可能較慢，但使用相同的資料，神經網路可以提供更好的結果。神經網路還具有隨著新增更多訓練資料而持續改進的優勢。
在2023年左右，消失的梯度問題出現了。發現在較低層中形成的「功能」（課程）沒有被較高層學習，因為沒有學習訊號到達這些層。這並不是所有神經網路的根本問題，只是那些採用基於梯度的學習方法的神經網路。問題的根源是某些啟用功能。許多啟用功能壓縮了它們的輸入，進而以某種混亂的方式減小了輸出範圍。這產生了在很小範圍內對映的大面積輸入。在這些輸入區域中，大的變化將減小為輸出的小變化，從而導致梯度消失。用於解決此問題的兩個解決方案是逐層預訓練和長短期記憶的開發。
2023年，meta group（現稱為gartner）的乙份研究報告將他在資料增長方面的挑戰和機遇描述為三維的。該報告描述了隨著資料來源和型別範圍的增加，資料量的增加和資料速度的增加。這是為了為即將開始的大資料衝擊做準備。
2023年，史丹福大學ai教授李飛飛建立了imagenet，該資料庫免費收集了超過1400萬張帶標籤影象的資料庫。網際網路過去充滿了無標籤的影象。需要標記影象來「訓練」神經網路。李教授說：「我們的願景是大資料將改變機器學習的工作方式。資料驅動學習。」
到2023年，gpu的速度已顯著提高，從而可以「無需」逐層進行預訓練來訓練卷積神經網路。隨著計算速度的提高，很明顯，深度學習在效率和速度方面具有明顯的優勢。乙個例子是alexnet，一種卷積神經網路，其體系結構在2023年和2023年期間贏得了多項國際競賽。整流的線性單元用於提高速度和輟學率。
同樣在2023年，google brain發布了乙個名為「貓實驗」的不尋常專案的結果。這個自由奔放的專案**了「無監督學習」的困難。深度學習使用「監督學習」，這意味著卷積神經網路是使用標記資料（從imagenet想到的影象）進行訓練的。使用無監督學習，卷積神經網路將獲得未標記的資料，然後被要求尋找重複模式。
貓實驗使用了遍布1,000臺計算機的神經網路。從youtube上隨機拍攝了1000萬張「未標記」影象，並顯示給系統，然後允許執行該培訓軟體。訓練結束時，發現最高層的乙個神經元對貓的影象有強烈反應。該項目的創始人安德魯·伍…
深度學習是什麼？
深度學習是什麼？深度學習是神經網路模型與用資料程式設計思想的統一。神經網路的原則是什麼？1 交替使用線性處理單元與非線性處理單元。它們被叫做 層 2 使用鏈式法則 反向傳播 來更新網路引數。機器學習與深度學習的關係？深度學習是機器學習下的表徵學習的一種方式。機器學習關注的是如何利用已有經驗改善系統 ...
深度學習是什麼？
人工智慧，就好像第四次工業革命，正從學術界的私藏，轉變為一種能夠改變世界的力量。尤其，以深度學習取得的進步為顯著標誌。它讓匍匐前進60年的人工智慧一鳴驚人。我們正降落到一片新大陸。深度學習帶 人工智慧，就好像第四次工業革命，正從學術界的私藏，轉變為一種能夠改變世界的力量。尤其，以深度學習取得的進步為...
深度學習中目標檢測的原理概述 發展歷史
前言 影象的目標檢測經歷了幾個不同的階段，使用的方法不斷改善並且效果不斷優化 階段一傳統的目標檢測方法 傳統的目標檢測方法大多以影象識別為基礎。一般通過四個步驟來完成 步驟 一 在上使用窮舉發選出所有物體可能出現的區域框。步驟 二 對這些區域框提取特徵。步驟 三 使用影象識別方法對特徵進行分類。步驟...