前向目的：得到輸出值
（即）後向目的：得到dz,dw,db（此處都是指dl/d...，損失函式對對應項的微分），進而得到梯度更新。（其中由於鏈式法則，dz,dw,db中都有y項）
權重w（a,b）: 維度a指本層的神經元個數，維度b指輸入層x特徵向量包含元素個數。
a=
（z）, a：active function.
程式實現時：每乙個樣本可以使用矩陣運算代替for迴圈，但是樣本間的迭代還是需要for迴圈。
當|z|很大時，啟用函式的梯度很小，因此在這個區域內，梯度下降演算法執行得很慢。實際應用中應盡量避免z落在這個區域，應使|z|盡可能限定在零值附近，從而提高梯度下降演算法運算速度。因此relu啟用函式出現了（缺點：z<0，梯度為0），以及改進的leaky relu函式。（因此在應用sigmoid函式或tanh函式，權重初始化時乘上乙個小數如0.01）
如果是分類問題：一般隱藏層採用relu啟用函式或leaky relu函式，輸出層採用sigmoid函式。
如果啟用函式採用線型啟用函式：則最終輸出值依然是變數x的線性組合，神經網路與直接使用線性模型就沒什麼不同了。因此隱藏層必須是非線性的。（回歸**y連續值問題：輸出層可以使用線性啟用函式）
權重必須隨機初始化：如果全部初始化為0，則每個神經元的權重完全相同，隱藏層設定多個神經元失去意義。
但是引數b可以全部初始化為0.
前饋神經網路
前饋神經網路 ffnn 由乙個輸入層，一到多個隱藏層，有乙個輸出層組成。資料通過網路一層層向後傳遞，直到輸出層，之間沒有反饋迴路。前饋神經網路可得到的函式 1 有乙個隱藏層的網路，可形成任意乙個連續函式 2 有倆個及以上的隱藏層，可形成任意函式，包括連續函式和離散函式 說明 設計乙個計算函式的網路，...
面試 前向神經網路
z很大或者很小時，梯度都會趨於0 優點 反向傳播 乙個是回歸，乙個是分類 平方誤差基於梯度的學習速度非常緩慢，交叉熵導數是線性的。不能，因為神經網路同層同構，擁有相同的輸入，如果引數也完全相同則無論前向還是後向結果都是一樣的，學習過程永遠無法打破這種對稱性，最終學習過的引數仍然相同。dropout作...
前饋神經網路 神經元
引言 人工神經網路 artificial neutral network 是受生物神經網路啟發而開發，由神經元連線組成的網路狀機器學習模型。其中，前饋神經網路 feedforward neural network 多層感知機 multilayer perceptron，mlp 是最具代表的神經網路，...