神經網路與深度學習筆記

1、代價函式：

在當前小批量資料中的所有訓練樣本

2、改進神經網路的學習方法：更好的代價函式的選擇：交叉熵代價函式；四種「規範化」方法：l1和l2規範化，棄權和訓練資料的人為擴充套件，讓我們的網路在訓練集之外的資料上更好地泛化。

3、在錯誤不是很好地定義時，學習過程會變得很緩慢。但在犯錯時也存在學習緩慢情況，實際上是因為二次代價函式的偏導數很小。為解決這個問題，使用交叉熵代價函式替換二次代價函式。

其中，n是訓練資料的總數，y是對應目標的輸出。交叉熵代價函式比二次代價函式更好的特性就是它避免了學習速度下降的問題。

一般，s型輸出層和交叉熵代價組合使用，柔性最大值輸出和對數似然代價組合使用。

4、檢測過度擬合的明顯方法是：跟蹤測試資料集合上的準確率隨訓練變化情況。如果看到測試資料上的準確率不再提公升，就停止訓練。即從traning_data訓練集中留出或拿出一部分作為validation_data，這種利用驗證集尋找好的超引數的方法被稱為hold out方法。

最好的降低過度擬合的方式之一是增加訓練樣本的量。有了足夠的訓練資料，就算是乙個規模非常大的網路也不大容易過度擬合。

另一種減輕過度擬合可行的方式是降低網路的規模。

規範化也能夠緩解過度擬合。

5、l2規範化或權重衰減：增加乙個額外的項到代價函式上，這個項叫做規範化項。

神經網路大多數有很小的權重，這最可能出現在規範化的網路中。更小的權重意味著網路的行為不會因為我們隨意改變了乙個輸入而改變太大，這會讓規範化網路學習區域性雜訊的影響更加困難。

6、l1規範化：

在l1規範化中，權重通過乙個常量向0進行縮小。在l2規範化中，權重通過乙個和w成比例的量進行縮小。

當權重絕對值很大時，l1規範化的權重縮小的遠比l2規範化小的多。當權重絕對值很小時，l1規範化的權重縮小的要比l2規範化大得多。

7、棄權(drop out)也是減輕過度擬合的方法。棄權改變了網路本身，會隨機地刪除網路中一部分隱藏神經元。當棄權掉不同的神經元集合，就像在訓練不同的神經網路。所以棄權過程就如同大量不同網路的效果的平均那樣。

8、卷積神經網路：將輸入層到隱藏層的對映稱為乙個特徵對映，共享權重和偏置經常被稱為乙個卷積核或濾波器。卷積神經網路也包含混合層，混合層通常緊接著在卷積層之後使用，它要做的是簡化從卷積層輸出的資訊。混合層常用的方法有最大值混合，l2混合。