kolmogorov定理：如果乙個隨機變數序列ξ1,ξ2.……滿足不等式
∑[1≤n≤+∞]dξn/n²＜＋∞.（為求和範圍）
則事件「lim[n→＋∞]｛（1/n）∑[1≤k≤n]ξk－（1/n）∑[1≤k≤n]mξk｝＝0」
的概率為1.
bp神經網路構建中中間隱含層數目n2,輸入層數目n1,輸出層數目m;
n2=sqrt(n1+m+1)+a; a=1-10;
orn1=log2(n2);
神經網路中隱層數和隱層節點數問題的討論
一 隱層數
一般認為，增加隱層數可以降低網路誤差（也有文獻認為不一定能有效降低），提高精度，但也使網路複雜化，從而增加了網路的訓練時間和出現「過擬合」的傾向。一般來講應設計神經網路應優先考慮3層網路（即有1個隱層）。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。對於沒有隱層的神經網路模型，實際上就是乙個線性或非線性（取決於輸出層採用線性或非線性轉換函式型式）回歸模型。因此，一般認為，應將不含隱層的網路模型歸入回歸分析中，技術已很成熟，沒有必要在神經網路理論中再討論之。
二 隱層節點數
在bp 網路中，隱層節點數的選擇非常重要，它不僅對建立的神經網路模型的效能影響很大，而且是訓練時出現「過擬合」的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜採用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。為盡可能避免訓練時出現「過擬合」現象，保證足夠高的網路效能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的複雜程度和轉換函式的型式以及樣本資料的特性等因素有關。
在確定隱層節點數時必須滿足下列條件：
（1）隱層節點數必須小於n-1（其中n為訓練樣本數），否則，網路模型的系統誤差與訓練樣本的特性無關而趨於零，即建立的網路模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節點數（變數數）必須小於n-1。
(2) 訓練樣本數必須多於網路模型的連線權數，一般為2~10倍，否則，樣本必須分成幾部分並採用「輪流訓練」的方法才可能得到可靠的神經網路模型。
總之，若隱層節點數太少，網路可能根本不能訓練或網路效能很差；若隱層節點數太多，雖然可使網路的系統誤差減小，但一方面使網路訓練時間延長，另一方面，訓練容易陷入區域性極小點而得不到最優點，也是訓練時出現「過擬合」的內在原因。因此，合理隱層節點數應在綜合考慮網路結構複雜程度和誤差大小的情況下用節點刪除法和擴張法確定。
**至於說2n+1個隱層神經元個數，也是需要根據具體問題來確定的。
比方說，你可以在2n+1的基礎上確定乙個正負10的區域，分別用區域中的數值代到網路中，看最後誰的誤差最小就用哪乙個。
神經網路隱含層的物理意義
softmax回歸與多層神經網路都可以實現多分類器，兩種分類器的模型如下圖所示 softmax回歸 多層神經網路 根據圖示我們可以看到，多層神經網路模型與回歸模型，在原理上是相似的，都是構造線性模型，多層神經網路只是在輸入層與輸出層之間新增了n個隱含層 n 1 新增隱含層的物理意義是什麼呢？無論是s...
卷積神經網路 卷積神經網路啟用層
在生物意義上的神經元中，只有前面的樹突傳遞的訊號的加權和值大於某乙個特定的閾值的時候，後面的神經元才會被啟用。簡單的說啟用函式的意義在於判定每個神經元的輸出 放在人臉識別卷積神經網路中來思考，卷積層的啟用函式的意義在於這一塊區域的特徵強度如果沒有達到一定的標準，就輸出0，表明這種特徵提取方式 卷積核...
神經網路中隱層數和隱層節點數問題的討論
一 隱層數 一般認為，增加隱層數可以降低網路誤差 也有文獻認為不一定能有效降低 提高精度，但也使網路複雜化，從而增加了網路的訓練時間和出現 過擬合 的傾向。一般來講應設計神經網路應優先考慮 3層網路 即有 1個隱層 一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。對於沒...