本文節選自cver《深度學習速查詞典》中的一部分內容，並補充一些常見名詞。
batch size
一次前向或反向傳播時樣本的數目，該引數受限於記憶體的大小。
iteration
樣本傳播的次數，每次傳播的樣本數為batch大小，注：一次樣本的傳播包括前向和反向傳播。
epoch
所有訓練樣本的傳播次數。例如，有1000個樣本，若batch size=500，則iteration=2時完成一次epoch。
learning rate
用於調節權重衰減的超引數，公式：new_weight = existing_weight — learning_rate * gradient，即梯度下降法中使用的引數。
梯度下降優化演算法
1.momentum(動量)
用於平滑隨機梯度下降法的振盪。
用於計算引數自適應學習率的方法，效果一般優於其他自適應學習演算法。
網路層引數
[convolutional] #卷積層
batch_normalize=1 #批歸一化引數
filters=32 #卷積核的數量
size=3 #卷積核的大小
stride=1 #卷積步長
pad=1 #卷積時填充畫素數
activation=leaky #網路的啟用函式(非線性的主要根源)
[maxpool] #池化層：最大化池化
size=2 #池化核大小
stride=2 #池化步長
是一種在深度神經網路中隨機消除節點及其連線的正則化技術。它可以防止模型過擬合，同時加快深度神經網路的訓練速度。
深度學習 名詞解釋
人工智慧的熱度逐漸上公升，身邊許多人都投身於這方面開始學習，所以最近我也研究了些深度學習方面的知識，在刷完了網易雲andrew ng的課程之後就流浪在github與csdn中，雖然了解了基本原理但是感覺自己動手建立模型還是有些難度的。在學習的過程中我會發現有幾個關鍵點是我們必須要明確的，可能我們在聽...
深度學習整體名詞概述
對csdn的課程進行了乙個整理 1.神經網路現階段的困擾 神經網路為什麼能工作 如何工作最好 用多少層 多少個神經元 為什麼 是沒有確定答案的 所以在理論層還沒有完全突破的情況下 我們學習的方式是 掌握用法 實際使用 回頭理解 各名詞的關係 1950年 感知器 perceptron 處理異或起來有障...
深度學習幾個名詞的簡單理解 梯度
梯度 梯度是乙個向量求導的導數 f的梯度是包含所有偏導數的向量。向量的導數還是乙個向量，所以梯度既是導數又是向量。梯度的方向 與這個函式在該點增長最快的方向一致。梯度的大小 梯度 max 方向導數 梯度下降法作用 求損失函式 loss function 最小值 吳恩達筆記 沿著下坡走，找到區域性最小...