z很大或者很小時，梯度都會趨於0
優點：
反向傳播
乙個是回歸，乙個是分類
平方誤差基於梯度的學習速度非常緩慢，交叉熵導數是線性的。
不能，因為神經網路同層同構，擁有相同的輸入，如果引數也完全相同則無論前向還是後向結果都是一樣的，學習過程永遠無法打破這種對稱性，最終學習過的引數仍然相同。
dropout作用於每份小批量資料，由於隨機丟棄部分神經元抑制，相當於每次迭代都在訓練不同的神經網路，模擬於bagging。
網路訓練的進行，每個隱層引數的變化使得後一層的輸入發生變化，從而每一批訓練資料的分布也隨之改變，使得網路在每次迭代都要擬合不同的分布。
批量歸一化可以看做每一層輸入和上一層輸出之間加了乙個計算層（歸一化處理），增強模型的泛化能力。
eigen（二） 神經網路前向
void array2matrix matrixxf mat1 map array1,2,3 cout mat1 endl 預設是colmajor,output 1 3 5 2 4 6 假設array原始的矩陣是以下形式 rowmajor 1 2 3 4 5 6 float array2 matri...
前向神經網路小試身手
三層全連線神經網路 輸入層 2個節點 隱藏層 3個節點 輸出層 1個節點 x為輸入，w1第一層節點的引數，w2第二層節點的引數，y為輸出 import tensorflow as tf w1 tf.variable tf.random normal 2,3 stddev 1,seed 1 w2 tf...
神經網路 前向，反向傳播過程
x，資料集矩陣。每一行的元素代表了乙個樣例的特徵值x1，x2，x3.共有n行，說明資料集一共n個樣例 theta，引數矩陣 行數 要生成的神經元個數 列數 上一層的輸入個數 每一行的元素代表了對樣例各個特徵值的權重 以資料集為x 5 3 使用上圖的網路結構為例 輸入層 x 5 3 說明資料集有5個樣...