本文介紹深度神經網路在不同的分類問題和接近人類水平效能的應用領域上的顯著成果。討論深度學習作為未來科學的各種疑問，揭示深度神經網路在機器執行任務方面的隱藏能力。智慧型系統的要求:
1.識別和處理各維度的複雜資訊；
2.獲取大量的資訊。
深度學習通過應用反向傳播演算法來確定改變的引數，以正確計算前一層的每一層的輸出。深度學習方法是一種將非線性模組組織成多個層次，將較低層次的表示轉化為較高層次的抽象表示的表示學習方法。深度學習的顯著特徵是，特徵層不是人為設計或確定的，而是通過一些通用的學習過程自主學習的。這種能力使得深度學習已經在各個領域取得了與對應的機器學習和人工智慧技術相比的重大成功。
深度學習的發展程序
在過去的十年，深度學習已成功運用於各種需要大量資料訓練和提供有用資訊的技術和機制。但在2023年之前，即使已經存在深度學習，研究人員對深度學習的可行性和成功持懷疑態度。
深度學習的優點
1.可在嘈雜的環境中過濾並提取隱藏在雜訊中的資訊；
2.深度學習演算法通過訓練可以識別資訊，並整合資訊，使資訊視覺化；
3.深度學習演算法可以識別資料，並找出有價值的資訊和模式；
4.通過dbm(deep belief method)或cnn(convolutional neural networks)等，可方便的對非結構化和結構化資料進行分類，採用無監督訓練和監督訓練相結合的方法構建模型。
5.通過人工神經網路模擬人腦，逐步學習如何用人的方式解決問題。
深度學習的挑戰
十年來，我們不僅正朝著乙個更智慧型的宇宙前進，而且在不斷地積累和生成大量的資料儲存庫。在這樣乙個避免資料混亂的場景中，深度學習被認為是能夠處理大量資料並將資料有效利用的科學。
儘管深度學習應用廣泛，但仍處於萌芽階段。然而它很快成為開發和實現智慧型機器的主要研究方向。目前，幾乎所有的人工智慧應用程式，都是由深度學習驅動的。但是，事實並沒有那麼樂觀，仍面臨許多挑戰。
1.大資料：根據****局的資料，世界每天處理超過1.8艾位元組的資料。此外，全世界人類所產生的資料量每天正以指數級的速度增長。當與大資料等一起使用時，深度學習有可能在短時間內管理和分析大量有監督或無監督的資訊。然而，用單個處理器對如此大量的資料進行深度學習演算法的訓練是一項具有挑戰性的任務。因此，採用cpu或圖形處理單元（gpu）來提高深度學習演算法的訓練速度。然而，儘管已經實現了許多優化，但整個過程仍然很耗時，並且需要高資料處理能力。
2.海量資料集：深度學習在計算機視覺、自然語言處理、機械人等多個領域都取得了成功的應用。值得注意的是，高效學習的資料樣本數量應是深度學習引數數量的10倍。因此，大量資料是此類網路成功的先決條件。
3.神經網路過擬合：訓練資料集的誤差報告與實際資料集的誤差報告存在顯著差異。這在具有多個引數的大型網路中是乙個常見問題，因此會影響模型的有效性。
4.超引數優化：有些引數的值是在學習開始前定義的，這些引數稱為超引數。這些引數值的微小變化會導致模型效能的顯著變化。
5.試錯學習：神經網路本質上是乙個黑匣子，它們的操作是不透明的。深度學習建立了由多個處理層組成的計算模型，通過多級抽象層學習資料表示。在這種情況下，抽象層不是由工程師決定的，而是通過一些通用的學習演算法從資料中學習的。因此，深度學習網路以一種分層的非線性機制處理輸入，以初始化隱藏層節點的通用結構來表示。然後提交給監控層，通過反向傳播演算法對深度學習網路進行微調，以實現所需任務的優化表示。
6.脆弱性：深度學習網路是脆弱的，因為乙個受過訓練的網路只能執行它所接受的任務，並且在任何新任務上都表現得很差。
7.事後高維路徑屬性：深度學習以原始資料為輸入，機器從中學習如何實現期望的結果。這是乙個更深層次的挑戰，需要將一系列行動聯絡起來，並將它們綜合成有用的經驗教訓。行為屬性（如隱藏、移動等）與結果之間的這種聯絡是基於複雜的時間關係和客觀功能的。
結論
深度學習已經存在了幾十年，其起源可以追溯到50年代後期的人工神經網路（ann）。它一開始就深深地扎根於懷疑論之中。然而，它克服了所有的不確定性，成為一種應用於人類生活許多重要領域的技術。深度學習系統在短短十年內取得的巨大進步毫無疑問地證明，這項科學的影響實際上沒有被誇大。然而，科學還很年輕，還有許多挑戰需要克服。期待深度學習與改進的資料處理相結合，成為計算機獲得人工智慧的解決方案，仍然是乙個遙遠的夢想。
深度學習發展簡史
美國康奈爾大學計算機教授羅森布拉特提出了感知器 perceptron 的概念。辛頓和美國心理學家魯梅哈特在兩層神經網路中提出了反向傳播演算法，大大減少了計算量。推動了神經網路在學術界的復甦。辛頓在 科學 雜誌上發表了一篇文章，提出了深度網路的概念。辛頓還改革了傳統的訓練方式，增加了預訓練 pre t...
深度學習發展歷程
一 神經元 1943年，心理學家mcculloch和數學家pitts參考了生物神經元的結構，發表了抽象的神經元模型mp。1 結構 神經元模型是乙個包含輸入，輸出與計算功能的模型。輸入可以模擬為神經元 的樹突，而輸出可以模擬為神經元的軸突，計算則可以模擬為細胞核。下圖是乙個典型的神經元模型 包含有3個...
深度學習基礎 當前研究的挑戰
1 rnn難以訓練。有 表明大量不同的rnn架構，其表現力是同等的，任何效能上的差異都是由於某些架構比其他架構更容易優化導致的 2 無監督難以訓練，因為模型的輸出通常 但不總是 更大 例如，1024 x 1024畫素，巨大的語音和文字序列 3 gan難以訓練，但對目標函式進行了修改。原來jensen...