【**鏈結】deep learning ，yann lecun, yoshua bengio & geoffrey hinton，nature，2015
深度學習發展得益於計算能力提公升和資料量的增長，無需人工設計特徵，深度學習通過bp（反向傳播）來顯示機器將會如何根據前一層的表徵改變來計算每層表徵的內部引數，使用快速gpu預訓練，從而可以發現高維大資料集的複雜結構，其特徵提取器將原始資料轉化成適於內部描述或表徵的變數，在提取器中的子系統（通常是乙個分類器）可以對輸入模式檢測和分類。表徵學習（representation learning）是指在輸入原始資料之後，機器能自動發現檢測和分類所需要的表徵資訊。
隨機梯度下降sgd是神經網路的常見訓練演算法，其名稱中的stochastic是因為，每個樣本組都會對整個訓練集的平均梯度給出乙個帶雜訊的估計。簡單的線性分類器只能將輸入空間劃分為很簡單的區域（即被超平面劃分的半空間）。
上圖中的b為鏈式求導法則。
圖c計算了包含兩個隱層和乙個輸出層的神經網路中的前向傳輸(forward pass)過程，為了簡化計算而忽略了偏置項bias.常用的啟用函式有relu(rectified linear unit,整流線性單元)，雙曲正切函式和邏輯回歸函式。
圖d中計算了反向傳輸(backward pass)過程。對隱層中每個輸出單元的誤差求導，即上一層中所有輸入單元的誤差導數的加權和，將關於輸出的導數誤差乘以啟用函式f(z)的梯度得到關於輸入的導數誤差。
圖2中將經典的卷積神經網路cnn運用於一張薩摩耶狗圖，每個長方形圖對應於學習到的輸出特徵的特徵對映。資訊流從下往上，低階的特徵作為導向性的邊緣監測因子，在輸出/relu/線性單元中為每個影象類別計算乙個分數。
cnn處理自然訊號的關鍵思想在於區域性連線，權重共享，池化和多個網路層的使用。
一張彩色影象由三個二維陣列組成，包含三個顏色通道的畫素強度值。例如在深度學習應用與影象分類中，原始以3通道rgb畫素值表示（three-channel，red-green-blue）； 在第乙個特徵層中，主要學習的特徵是特定方位或位置上有無邊沿edge；第二層學習的表徵是不考慮邊沿位置的微小變化，發現邊沿的特定排列來檢測圖案；第三層將區域性影象與物體相應的部分匹配；後續的層級將會通過把這些區域性資訊組合起來從而識別整個物體。
深度學習的另乙個熱門應用是自然語言處理，包括話題分類，情感分析，問答系統和語言翻譯等不同的任務。
深度學習Deep Learning
概述 deep feedforward network 深度前饋網路 又名feedforward neural network 前饋神經網路 或 multilayer perceptron 多層感知器 是深度學習模型的精髓 前饋網路的目的是逼近某種方程f 比如乙個分類器，y f x 將輸入x對映到類...
深度學習Deep learning
第二章 tensorflow之前期零七八碎的小知識 二 tensorflow小知識 總結深度學習入門必須了解一些關於numpy的知識，本文介紹一些零七八碎的注意事項。array1 1,2,3 4,5,6 7,8,9 array2 array1 這麼做是不對的 python中只是把array1的記憶體...
深度學習 Deep Learning 綜述
深度學習是ml研究中的乙個新的領域，它被引入到ml中使ml更接近於其原始的目標 ai。檢視a brief introduction to machine learning for ai 和 an introduction to deep learning algorithms.這篇綜述主要是介紹一些...