非線性啟用函式
若選取線性啟用函式，得到的輸出與輸入只能是線性函式，隱藏層毫無意義。非線性啟用函式可以發揮深層神經網路的優勢，計算更有趣的函式。
線性啟用函式只可以應用在輸出層或回歸問題。
sigmod函式和tanh函式的導數均小於1，容易造成梯度消失的問題，當z很大或很小時，函式的斜率會很小，接近於0，這樣會拖慢梯度下降速率。所以更多使用relu或leaky relu函式。
權重隨機初始化權重：np.random.randn((row,column))*0.01(100?)，若權重初始值過大，容易造成梯度飽和，學習速率緩慢。初始w不能全為0，否則每個神經單元將計算同樣的函式，沒有意義。
神經網路中引數過多易導致過擬合問題。
學習速率
a.如果α較小，則達到收斂所需要迭代的次數就會非常高；
b.如果α較大，則每次迭代可能不會減小代價函式的結果，甚至會超過區域性最小值導致無法收斂。如下圖所示情況
通常可以設定學習率衰減提高迭代效率
一是通過人為經驗進行設定，如到達多少輪後，設定具體的學習率為多少； 二是隨著迭代輪數的增加學習率自動發生衰減，這類有比較常用的指數型衰退，具體演算法參考：(
神經網路學習筆記
隱含層數越多，越容易擬合複雜函式 為了擬合複雜函式需要的隱含節點數目，基本上隨著隱含層數目的增加呈現指數下降的趨勢，也就是說層數越多，神經網路所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點 神經網路的隱含節點 就越少。但是，層數越多，容易出現過擬合以及引數難以除錯以及梯度瀰散的問題...
神經網路學習筆記
sigmoid函式是一種常見的擠壓函式，其將較大範圍的輸入擠壓到 0 1 區間內，其函式的表示式與形狀如下圖所示 該函式常被用於分類模型，因為其具有很好的乙個特性f x f x 1 f x 這個函式也會被用於下面的神經網路模型中做啟用函式。生物的神經網路系統中，最簡單最基本的結構是神經元。每個神經元...
神經網路 學習筆記
神經網路是用來解決分類問題的模型。他與感知機有著緊密的聯絡。神經網路中，神經元接收到的總輸入將與神經元的閾值進行比較，然後通過 啟用函式 處理以產生神經元的輸出。最理想的啟用函式是階躍函式，但是他不連續，不光滑，所以，採用sigmoid函式來進行替代。感知機只有輸出層神經元進行啟用函式處理，即只擁有...