這一定理表明，只要給予了適當的引數，我們便可以通過簡單的神經網路架構去擬合一些現實中非常有趣、複雜的函式。這一擬合能力也是神經網路架構能夠完成現實世界中複雜任務的原因。儘管如此，此定理並沒有涉及到這些引數的演算法可學性 (algorithmic learnablity)。
通用近似定理用數學語言描述如下：
令 φ 為一單調遞增、有界的非常數連續函式。記 m 維單元超立方體 (unit hypercube) [0,1]m為 im，並記在 im 上的連續函式的值域為 c(im)。則對任意實數 ϵ>0 與函式 f∈c(im)，存在整數 n、常數 vi,bi∈ℝ 與向量 wi∈ℝm(i=1,…,n)，使得我們可以定義：f(x)=∑i=1nviφ(wtix+bi)
為 f 的目標擬合實現。在這裡， f 與 φ 無關，亦即對任意 x∈im，有：|f(x)–f(x)|
因此，形為 f(x) 這樣的函式在 c(im) 裡是稠密的。替換上述 im 為 ℝm 的任意緊子集，結論依然成立。
在 1989 年，george cybenko 最早提出並證明了這一定理在啟用函式為 sigmoid 函式時的特殊情況。那時，這一定理被看作是 sigmoid 函式的特殊性質。但兩年之後，kurt hornik 研究發現，造就「通用擬合」這一特性的根源並非 sigmoid 函式，而是多層前饋神經網路這一架構本身。當然，所用的啟用函式仍然必須滿足一定的弱條件假設，常數函式便是顯然無法實現的。
萬能近似定理
前饋網路的導數也可以以任意好地程度近似函式的導數。任意定義在r n mathbb n rn有界集上的連續函式都是borel可測的，因此可以用神經網路來近似。神經網路也可以近似從任何有限離散空間對映到另乙個有限離散空間的函式。在原始的定理中，要求啟用函式在變數取非常大的正值或者非常大的負值時飽和。實際...
通用近似定理
n r nrn 在維基百科上的解釋如下 在人工神經網路 ann 的數學理論當中，假設啟用函式足夠柔和的情況下，通用相似定理是指在神經元個數足夠的情況下和通過單層的前饋神經網路能夠近似逼近任意乙個在緊子集r nr n rn上的連續函式。在這裡under mlid assumptions on the ...
DeepLearning學習筆記 萬能近似定理
談談為什麼要把上一層的輸出經過啟用函式後再作為下一層的輸入呢？首先談談萬能近似性質。線性模型，通過矩陣乘法將特徵對映到輸出 那麼我們如何要為非線性函式設計模型呢，萬幸，具有隱藏層的前饋網路提供了一種萬能近似框架。具體來說，萬能近似定理表明，乙個前饋神經網路如果具有線性輸出層和至少一層具有任何一種 擠...