神經網路代表了人工智慧中的連線主義思想，它是一種仿生的方法，被看做是對動物大腦神經系統的模擬。在實現時，它又和大腦的結構不同。從數學上看，多層神經網路本質上是乙個復合函式。
文獻[3]對使用sigmoid啟用函式時的情況進行了證明。文獻[1]指出，萬能逼近特性並不取決於神經網路具體的啟用函式，而是由神經網路的結構保證的。
萬能逼近定理的表述為：如果
對任意的
萬能逼近定理的直觀解釋是可以構造出上面這樣的函式，逼近定義在單位立方體空間中的任何乙個連續函式到任意指定的精度。這一結論和多項式逼近類似，後者利用多項式函式來逼近任何連續函式到任何精度。這個定理的意義在於，從理論上保證了神經網路的擬合能力。
但是這只是乙個理論結果，具體實現時，神經網路需要多少層，每層要多少個神經元？這些問題只能通過實驗和經驗來確定，以保證效果。另外乙個問題是訓練樣本，要擬合出乙個複雜的函式需要大量的訓練樣本，而且面臨過擬合的問題。這些工程實現的細節也至關重要，卷積網路在2023年就已經出現了，為什麼直到2023年才取得成功？答案有這麼幾點：
訓練樣本數量的限制。早期的訓練樣本非常少，沒有大規模採集，不足以訓練出乙個複雜的卷積網路。
計算能力的限制。2023年代的計算機能力太弱，沒有gpu這樣的高效能計算技術，要訓練乙個複雜的神經網路不現實。
演算法本身的問題。神經網路長期以來存在梯度消失的問題，由於反向傳播時每一層都要乘上啟用函式的導數值，如果這個導數的絕對值小於1，次數多了之後梯度很快趨近於0，使得前面的層無法得到更新。
卷積神經網路本質上權重共享的全連線神經網路，因此萬能逼近定理對它是適用的。但卷積網路的卷積層，池化層又具有其特性。文獻[11]從數學的角度對深層卷積網路進行了解釋。在這裡，作者將卷積網路看做是用一組級聯的線性加權濾波器和非線性函式對資料進行散射。通過對這一組函式的壓縮（contraction）和分離（separation）特性進行分析從而解釋深度卷積網路的建模能力。另外，還解釋了深度神經網路的遷移特性。卷積神經網路的卷積操作分為兩步，第一步是線性變換，第二步是啟用函式變換。前者可以看成是將資料線性投影到更低維的空間；後者是對資料的壓縮非線性變換。作者對這幾種變換的分離和壓縮特性分別進行了分析。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...