計算流程圖中的方向叫前向傳播。通過反向傳播來優化權重。
batchsize批處理的大小一般是2的整數倍(32,64,128)，64和128居多。
乙個epoch值表示迭代一輪全部資料。一次迭代表示跑完乙個batchsize資料。
圖中的loss出現上下浮動是非常正常的。通常情況下需要看第1萬次，2萬次，3萬次迭代的效果。
通常情況我們不會把學習率設定的太大，一般會設定的小一些比如：0.001，0.0001
反向傳播是一層一層往後傳的過程，決不能從最後直接傳到最開始。
可以通過對sigmoid函式整體求導。在反向傳播的過程中能整體求導的就對其整體求導。
深度學習 最優化的學習筆記
感謝蔡超老師的講授，給予了我很大的啟發 svm是我最初學習的分類器之一，svm線性分類器求解過程的推導還是十分優美的 使用了拉格朗日乘子法 具體的推導過程可以參考蔡超老師講授的ppt 這是因為在數值分析法求解的過程中，需要計算矩陣或者張量 在進行這個運算時，會涉及到所有的樣本值，而在目標檢測中，輸入...
最優化和深度學習的區別
如今訓練神經網路最常見的方法是使用梯度下降或 adam 等變種。梯度下降是尋找函式極小值的迭代優化演算法。簡單的說，在最優化問題中，我們對某個度量 p 感興趣，想找到乙個在某些資料 或分布 d上最大化 或最小化 該度量的函式 或函式的引數 這聽起來就像是機器學習或深度學習。我們有一些指標，例如準確率...
深度學習入門課程學習筆記05 最優化問題
通過對之前課程的學習，我們已經能夠對於乙個輸入資料得出它的最終的乙個loss值，那麼下面就該咱們如何去找到乙個最優的引數矩陣，使得最終的loss值達到乙個最小的範圍。這就引入了咱們的最優化問題。下面咱們通過幾種解決方案來詳細討論如何處理這個最優化的問題 首先咱們就算不經過大腦思考也能得出一種方法，我...