tensorflow 筆記：第四講
神經網路優化
√神經元模型：用數學公式表示為：為啟用函式。神經網路是以神經元為基本單元構成的。
√啟用函式：引入非線性啟用因素，提高模型的表達力。
常用的啟用函式有 relu、sigmoid、tanh等。
① 啟用函式 relu: 在tensorflow 中，用 tf.nn.relu()表示
relu() 數 學 表 達 式 relu() 數 學 圖 形
② 啟用函式 sigmoid：在tensorflow中，用 tf.nn.sigmoid()表示
③ 啟用函式 tanh：在 tensorflow 中，用 tf.nn.tanh()表示
√神經網路的複雜度：可用神經網路的層數和神經網路中待優化引數個數表示
√神經網路的層數：一般不計入輸入層，層數= n 個隱藏層 + 1 個輸出層
√神經網路待優化的引數：神經網路中所有引數w 的個數 + 所有引數 b 的個數
在該神經網路中，包含 1 個輸入層、1個隱藏層和 1 個輸出層，該神經網路的層數為 2 層。
在該神經網路中，引數的個數是所有引數 w 的個數加上所有引數 b 的總數，第一層引數用三行四列的二階張量表示（即 12 個線上的權重w）再加上 4 個偏置 b；第二層引數是四行兩列的二階張量（）即
8 個線上的權重 w）再加上 2 個偏置b。總引數 = 3*4+4 + 4*2+2 = 26。
√損失函式（loss）：用來表示**值（y）與已知答案（y_）的差距。在訓練神經網路時，通過不斷改變神經網路中所有引數，使損失函式不斷減小，從而訓練出更高準確率的神經網路模型。
√常用的損失函式有均方誤差、自定義和交叉熵等。
√均方誤差 mse：n 個樣本的**值 y 與已知答案 y_之差的平方和，再求平均值。
深度學習 網路正則化
in 1n i 1n yi f xi 2 r d min 1n i 1n yi f xi 2 r d 2 12 22l2 12 222 1 i i l2 1 i i 1 1 2 22 1 1 2 22 2 c 2 原理 對於某層神經元，在訓練階段均以概率p隨機將該神經元權重設定為0，在測試階段所有神...
深度學習網路結構
lenet 一共有五層，兩層卷積加三層全連線，架構如下 卷積部分 均無padding 輸入kernel size stride kernel個數 輸出池化 第一層卷積 32 32 3 5 51 628 28 6 14 14 6 第二層卷積 14 14 6 5 51 1610 10 16 5 5 16...
深度學習 網路訓練技巧
1.1 學習率 learning rate 學習率 是控制模型學習效率 步長 的權重。學習率的大小區分區別 學習率大 學習率小 學習速度快慢 應用場合 訓練初期 數次epoch過後 缺點1.容易損失過大 2.容易發生振盪 1.容易過擬合 2.收斂速度慢 學習率的設定 在訓練過程中，一般根據訓練輪數設...