神經網路學習筆記

隱含層數越多，越容易擬合複雜函式

為了擬合複雜函式需要的隱含節點數目，基本上隨著隱含層數目的增加呈現指數下降的趨勢，也就是說層數越多，神經網路所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點（神經網路的隱含節點）就越少。

但是，層數越多，容易出現過擬合以及引數難以除錯以及梯度瀰散的問題。

過擬合：**模型在訓練模型上公升高在測試集上下降。泛化能力不行。

防止過擬合的方法：dropout

解決梯度瀰散：relu

解決引數多：使用adam adagrad等方法自適應引數調節方法

關於權重初始化：

sigmod做啟用函式：將偏執b和權重都初始化為0，因為sigmod在0附近最敏感，梯度最大

relu做啟用函式：偏執設為0，權重初始化為正態分佈。有時候需要在引數上加一點雜訊來打破完全對稱並避免0梯度，有時候在偏執上賦一些小的非0值來避免死亡神經元。

此外，為了防止特徵過多帶來的過擬合，一般採用加入正則化項或者減少特徵的方式。一般採用l1正則會製造稀疏的特徵，大部分沒有用的特徵的權重會置為0，而l2正則會讓特徵的權重不能過大，會造成特徵的權重比較均勻。

解決上述問題，可以使用batch normalization

l2正則和lrn可以提公升模型的泛化能力，防止過擬合

關於使用lrn層：

lrn：區域性響應歸一化（local response normalization）

思想：這個方法源自生物學的「側抑制」。就是指被啟用的神經元會抑制相鄰神經元。歸一化的目的就是抑制。特別是對於relu函式的抑制作用特別大。用在卷積層（卷積後再啟用）之後，因為啟用函式是乙個非線性變換，會影響資料的分布，啟用函式改變了資料分布，就需要進行歸一化。

具體做法，對於例如10*10*36的特徵map，10*10是尺寸，36是層數。

那麼對於10*10中的每乙個點（36維向量），對這乙個向量進行歸一化。36維中的每乙個元素都除以所有的元素的和加乙個偏執。具體公式如下

這一部分的內容，參照這篇部落格。

對於深度學習而言，只要樣本足夠多，準確率會持續上公升。因此資料增強特別重要。如何提高影象的樣本使用率。增大樣本量。在alexnet中，具體資料做法是：

1.從256*256的原始影象中提取224*224大小的區域（以及水平翻轉的映象），相當於增加了（226-224）的平方×2倍的資料量。

2. 進行**的時候，取影象的四個角加中間共5個位置，並進行左右翻轉，一共獲得10張，對他們進行**並對10次結果求均值。