- 幾十年來，構建模式識別和機器學習系統需要技藝高超的工程師和經驗豐富的專家設計特徵提取器（feature extractor），將原始資料（如影象的想數值）轉化為合適的中間表示形式或特徵向量（feature vector），學習子系統（通常為分類器）可以對輸入模式進行檢測或分類。
- 深度學習的方法則不需要人工設計特徵提取器，而是機器自動學習獲得，特別適用於變化多端的自然資料，具有非常優良泛化能力和魯棒性。
- 在表示學習（representation learning）系統中，直接以原始資料形式提供機器輸入，自動發現用於檢測和分類的表示（representation），深度學習是一種多層表示學習方法，用簡單的非線性模組構建而成，這些模組將上一層表示（從原始資料開始）轉為更高層，更抽象的表示，當乙個學習系統由足夠多這樣的簡單的非線性模組構建時，可以歇歇非常複雜的功能。
- 對於分類問題，高層表示能強調重要的類別資訊，同時抑制無關的背景資訊，一幅影象總是以畫素值陣列形式提供網路輸入，第一層學習到的特徵為邊緣資訊，即影象某個位置是否存在特定朝向的邊緣；第二層檢測邊緣資訊按特定方式組成及基圖案，而不關心邊緣位置的變化；第三層將基本圖案組合起來，對應典型物體的部件，後序層檢測由部件組成的物體。深度學習最關鍵的方面是這些特徵層不是由專家設計的，而是使用通用學習方法自動從資料學習得到的。這些從低到高的」表示」是人類無法預估的，完全由機器決定哪些特徵是自己需要的，哪些是可以抑制的。
- 深度學習十分擅長在高維資料中發現複雜結構，在影象識別，語音識別中打破多項紀錄。
- 從最早的模式識別（pattern recognition）時期開始，研究者的目標就是用可訓練的多層網路取代人工特徵工程。但該解決方案並沒有被廣泛認可，知道20世界80年代中期，研究者才證明多層架構可以通過sgd訓練。只要模組是其輸入和內部權值的相對平滑函式，就可以使用反向傳播步驟計算梯度。
- 對h1層的每個單元j，其值 y
j=f(
zj),
zj=∑
wijx
i,其中 i
取便所有輸入節點zj
是對前一層所有節點的加權和，這裡省略的偏置項。網路中使用非線性函式 f
對zj進行非線性變換，得到該層輸出 y
j 。
- 反向傳播演算法的關鍵一點就是代價函式相對於乙個模組輸入的導數（或梯度），可以通過目標函式相對於該模組輸出的導數反向傳播求得。反向傳播公式可以重複應用，將梯度從頂層輸出（網路產生**的位置）通過所有模組傳遞到底（輸入層）。所有這些中間梯度計算出來之後，再計算代價目標函式相對於每個模組內部權值的梯度就非常容易了。以輸出層到h1層權值為例，其誤差梯度為 ∂
e∂wi
j=∂e
∂yj⋅
∂yj∂
zj⋅∂
yj∂z
j⋅∂z
j∂wi
j=∂e
∂yj⋅
∂yj∂
zj⋅x
i.- 有一種特殊型別的深度前饋網路，訓練更簡單，泛化能力比相鄰層用全連線更好，這就是卷積神經網路（convnet）。當神經網路被拋棄時，他卻在多個領域取得成功，如今在計算機視覺社群被廣發接受。
- convnet的四項基本原則：區域性互聯、共享權值、下取樣以及使用多個卷積層。
- 共享權值意味著更少的參數量，下取樣保證了區域性不變性，多特徵圖允許不同卷積核作為不同的特徵提取器，訓練時使用反向傳播演算法。
1 深度學習過往
模式識別或者機器學習需要人來設計特徵提取器，將原始資料轉換為合適的中間表示式或特徵向量，學習子系統 通常為分類器 可以對輸入模式進行檢測或分類。而深度學習不需要人工設計特徵提取器，而是由機器自動學習獲得，特別適用於於變化多端的自然資料，具有非常優良的泛化能力和魯棒性。表示學習，直接以原始資料形式提供...
深度學習（一）深度學習的概念
深度學習是機器學習與神經網路 人工智慧 圖形化建模 優化 模式識別和訊號處理等技術融合後產生的乙個領域。深度學習網路是神經網路革命性的發展，人們甚至認為可以用它來建立更加強大的 模型。深度學習使用多層機器學習模型對資料進行有監督學習或無監督學習。模型中的不同層由非線性資料變換的多個階段組成，資料的特...
學習的深度
要學習的領域太多，不可平均用力。門門精通是不可能的，但多涉獵是沒有壞處的，這就有個深度問題。我是數學和電子學的業餘愛好者，對詩詞 古典文學 圍棋也頗有興趣。我的時間基本上也都投入到這幾樣東西裡面去了。但我的本職工作是軟體工程師。上述任何一門學科都需要長期積累，不能間斷。要有計畫，合理利用業餘時間，要...