1.bgd法。batch gradient descent批梯度下降
2.sgd法。stochastic gradient descent隨機梯度下降，也稱mbgd minibatch gradient descent
3.momentum法。模擬動量
4.nesterov momentum法，對3的改進。
5.adagrad法，適應不同的學習率。
6.adadelta法。用一階的方法，模擬二階牛頓法
7.rmsprop法。引入衰減係數
8.adam法。**於自適應矩估計，引入衰減係數。
各個方法的比較：
啊，打不開！
Pytorch教程 加速神經網路訓練
torch and numpy 變數 variable 激勵函式 關係擬合 回歸 區分型別 分類 快速搭建法 批訓練加速神經網路訓練 optimizer優化器 卷積神經網路 cnn 卷積神經網路 rnn lstm rnn 迴圈神經網路 分類 rnn 迴圈神經網路 回歸 自編碼 autoencoder...
神經網路加速訓練應避免的問題
目前衡量模型複雜度的通用指標是flops，注意這裡的s是小寫，與flops區分，flops是floating point operations per second的簡寫，即每秒所能夠進行的浮點運算數目，是乙個衡量gpu效能的指標。而衡量模型複雜度的指標是flops是floating point o...
神經網路訓練
學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層 這裡指的只有三層，輸入層，隱藏層，輸出層 的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下 1.輸入第乙個訓練樣本 對應的就...