本文為閱讀總結個人認為書裡概念性的、對本人有幫助的內容，僅供參考。
我們期望通過智慧型軟體自動地處理常規勞動、理解語音或影象、幫助醫學診斷、支援基礎科學研究。
人工智慧的真正挑戰在於解決那些對人來說很容易執行、但很難形式化描述的任務。對於這些問題，我們人類往往可以憑藉直覺輕易地解決。
層次化的概念讓計算機構建較簡單的概念來學習複雜概念。
人工智慧的乙個關鍵挑戰就是如何讓將這些非形式化的知識傳達給計算機。
一些人工智慧專案力求將關於世界的只是用形式化的語言進行硬編碼。
依靠硬編碼的知識體系面臨的困難表明，ai系統需要具備自己獲取知識的能力，即從原始資料中提取模式的能力。這種能力成為機器學習。引入機器學習使計算機能夠解決涉及現實世界只是的問題，並能做出看似主觀的決策。
這些簡單的機器學習演算法的效能在很大程度上依賴於給定資料的表示。
在整個電腦科學乃至日常生活中，對表示的依賴都是乙個普遍現象。
表示的選擇會對機器學習演算法的效能產生巨大的影響。
許多人工智慧任務都可以通過以下方式解決：先提取乙個合適的特徵集，然後將這些特徵提供給簡單的機器學習演算法。
解決這個問題的途徑之一是使用機器學習來發掘表示本身，而不僅僅把表示對映到輸出。這種方法我們稱之為表示學習。表示學習演算法只需要幾分鐘就可以為簡單的任務發現乙個很好的特徵集，對於複雜任務則需要幾個小時到幾個月。
表示學習演算法的典型例子是自編碼器。自編碼器由乙個編碼器函式和乙個解碼器函式組合而成。
當設計特徵或設計用於學習特徵的演算法時，我們的目標通常是分離出能解釋觀察資料的變差因素。
在許多現實的人工智慧應用中，困難主要源於多個變差因素同時影響著我們能夠觀察到的每乙個資料。
顯然，從原始資料中提取如此高層、抽象的特徵是非常困難的。
深度學習通過其他較簡單的表示來表達複雜表示，解決了表示學習中的核心問題。
深度學習讓計算機通過較簡單的概念構建複雜的概念。
深度學習模型的典型例子是前饋深度網路或多層感知器。
學習資料的正確表示的想法是解釋深度學習的乙個視角。另乙個視角是深度促使計算機學習乙個多步驟的電腦程式。每一層表示都可以被認為是並行執行另一組指令之後計算機儲存器狀態。更深的網路可以按順序執行更多的指令。順序指令提供了極大的能力，因為後面的指令可以參考早期指令的結果。
目前主要有兩種度量模型深度的方式。一種方式是基於評估架構所需執行的順序指令的數目。另一種是在深度概率模型中使用的方法，它不是將計算圖的深度是為模型的深度，而是將描述概念彼此如何關聯的圖的深度是為模型深度。
由於並不總是清楚計算圖的深度和概率模型圖的深度哪乙個是最有意義的，並且由於不同的人選擇不同的最小元素集來構建相應的圖，所以就想電腦程式的長度不存在單一的正確值一樣，架構的深度也不存在單一的正確值。
總之本書的主題——深度學習是通向人工智慧的途徑之一。
深度學習是一種特定型別的機器學習，具有強大的能力和靈活性，它將大千世界表示為巢狀的層次概念體系。
深度學習的歷史可以追溯到20世紀40年代。
這個領域已經更換了很多名稱，它反映了不同的研究人員和不同觀點的影響。
一般認為，迄今為止深度學習已經經歷了3次發展浪潮：20世紀40-60年代。深度學習的雛形出現在控制論中；20世紀80-90年代深度學習表現為聯結主義；直到2023年，才真正以深度學習之名復興。
深度學習的神經觀點受兩個主要思想啟發：乙個想法是，大腦作為例子證明智慧型行為是可能的，因此，概念上，建立智慧型的直接途徑是逆向大腦背後的計算原理，並複製其功能；另一種看法是，理解大腦和人類智慧型背後的原理也非常有趣，因此機器學習模型除了解決工程應用的能力，如果讓人類對這些基本的科學問題有進一步的認識，也將會很有用。
現代術語「深度學習」超越了目前機器學習模型的神經科學觀點。
現在，神經科學被視為深度學習研究的乙個重要靈感**，但它已不再是該領域的主要指導。
如今神經科學在深度學習研究中的作用被削弱，主要原因是我們根本沒有足夠的關於大腦的資訊來作為指導去使用它。
我們能夠從神經科學得到一些粗略的指南。僅通過計算單元之間的相互作用而變得智慧型的基本思想是受大腦啟發的。
雖然神經科學是靈感的重要**，但它不需要被視為剛性指導。
深度學習領域主要關注如何構建計算機系統，從而成功解決需要智慧型才能解決的任務，而計算神經科學領域主要關注構建大腦如何真實工作的、比較精確的模型。
20世紀80年代，神經網路研究的第二次浪潮在很大程度上是伴隨乙個被稱為聯結主義或並行分布處理潮流而出現的。
聯結主義的中心思想是，當網路將大量簡單的計算單元連線在一起時可以實現智慧型行為。
在20世紀80年代的聯結主義期間形成的幾個關鍵概念在今天的深度學習中仍然是非常重要的。其中乙個概念是分布式表示；另乙個重要成就是反向傳播在訓練具有內部表示的深度神經網路中的成功使用以及反向傳播演算法的普及。
神經網路研究的第三次狼長始於2023年的突破。神經網路研究的這一次浪潮普及了「深度學習」這一術語，強調研究者現在有能力訓練以前不可能訓練的比較深的神經網路，並著力於深度的理論重要性上。
截至2023年，乙個粗略的經驗法則是，監督深度學習演算法在每類給定5000個標註樣本情況下一般將達到可以接受的效能，當至少有1000萬個標註樣本的資料集用於訓練時，它將達到或超過人類表現。
聯結主義的主要見解之一是，當動物的許多神經元一起工作時會變得聰明。
由於更快的cpu、通用gpu的出現、更快的網路連線和更好的分布式計算的軟體基礎設施，模型規模隨著時間的推移不斷增加是深度學習歷史中最重要的趨勢之一。人們普遍預計這種趨勢將很好地持續到未來。
20世紀80年代以來，深度學習提供精確識別和**的能力一直在提高。而且，深度學習持續成功地應用於越來越廣泛的實際問題中。
深度學習的另乙個最大的成就是其在強化學習領域的擴充套件。
總之，深度學習是機器學習的一種方法。在過去幾十年的發展中，它大量借鑑了我們關於大腦、統計學和應用數學的知識。近年來，得益於更強大的計算機、更大的資料集合能夠訓練更深網路的技術，深度學習的普及性和實用性都有了極大的發展。未來幾年，深度學習更是充滿了進一步提高並應用到新領域的挑戰和機遇。
深度學習
第一章 引言
斜體字 表示新定義的術語 url 郵件位址 檔名 副檔名。下面的圖示表示 小貼士 建議或者注釋。首先，讓我們從較高層次介紹一下c 5.0中的async功能，看看它對你意味著什麼。什麼樣的 是非同步的呢？如果程式開始執行耗時操作後，不會等待耗時操作結束才往下執行，這樣的 就是非同步的。如果程式一直等待...
深度學習入門學習 第一章
7.11 深度學習是機器學習的子問題，其主要目的是從資料中自動學習到有效的特徵表示。神經網路僅僅是深度學習領域中的一類數學模型，其他的模型還包括概率圖模型等。深度學習入門第一章 python入門 1.使用版本 python3.x 2.使用庫 numpy庫和matplotlib庫 3.numpy庫是用...
筆記 吳恩達第一章引言
一 引言 introduction 1.1 歡迎 1.2 機器學習是什麼？1.3 監督學習 1.4 無監督學習 暫空特徵 樣本點有標記資訊，如房價 問題 良性腫瘤與惡性腫瘤分類問題等 監督學習的分類 回歸 regression 針對連續型問題，如房價 問題 predict real valued o...