談談為什麼要把上一層的輸出經過啟用函式後再作為下一層的輸入呢？
首先談談萬能近似性質。
線性模型，通過矩陣乘法將特徵對映到輸出(
那麼我們如何要為非線性函式設計模型呢，萬幸，具有隱藏層的前饋網路提供了一種萬能近似框架。具體來說，萬能近似定理表明，乙個前饋神經網路如果具有線性輸出層和至少一層具有任何一種「擠壓」性質的啟用函式（例如logistic sigmoid函式）的隱藏層，只要給與網路足夠數量的隱藏單元，它可以以任意的精度近似任何乙個有限維空間到另乙個有限維空間的borel可測函式。前饋網路的導數也可以任意好地近似函式的導數。
我們只需要知道定義在
萬能近似定理意味著無論我們學習什麼函式，我們知道乙個大的mlp一定能表示這個函式。然而，我們並不能保證訓練演算法能夠學到這個函式。即使mlp能夠表示這個函式，學習也可能因為兩個原因而失敗。首先，用於訓練的優化演算法可能找不到用於期望函式的引數值。其次，訓練演算法可能由於過擬合而選擇了錯誤的函式。前饋網路提供了乙個表示函式的萬能系統，給定乙個前饋網路能夠近似該函式。不存在萬能的過程既能夠驗證訓練集上的特殊樣本，又能夠選擇乙個函式來擴充套件到訓練集上沒有的點。
萬能近似定理說明了存在乙個足夠大的網路能夠達到我們所希望的任意精度，但是定理並沒有說這個網路有多大。總之，具有單層的前饋網路足以表示任何函式，但是網路層可能大的不可實現，並且可能無法正確地學習和泛華。在很多情況下，使用更深的模型能夠減少表示期望函式所需的單元的數量，並且可以減少泛化誤差。
（為什麼能夠更深的模型能夠減少引數數量呢）
書上說是摺疊了空間。。看不懂。。
深度學習Deep Learning
概述 deep feedforward network 深度前饋網路 又名feedforward neural network 前饋神經網路 或 multilayer perceptron 多層感知器 是深度學習模型的精髓 前饋網路的目的是逼近某種方程f 比如乙個分類器，y f x 將輸入x對映到類...
深度學習Deep learning
第二章 tensorflow之前期零七八碎的小知識 二 tensorflow小知識 總結深度學習入門必須了解一些關於numpy的知識，本文介紹一些零七八碎的注意事項。array1 1,2,3 4,5,6 7,8,9 array2 array1 這麼做是不對的 python中只是把array1的記憶體...
深度學習 Deep Learning 綜述
深度學習是ml研究中的乙個新的領域，它被引入到ml中使ml更接近於其原始的目標 ai。檢視a brief introduction to machine learning for ai 和 an introduction to deep learning algorithms.這篇綜述主要是介紹一些...