batch size定義：一次訓練所選取的樣本數。
batch size的大小影響模型的優化程度和速度。同時其直接影響到訓練單元（如gpu）的記憶體的使用情況，假如你訓練單元（如gpu）記憶體不大，該數值最好設定小一點。
batch size設定合適時的優點：
1、通過並行化提高記憶體的利用率。就是盡量讓你的訓練單元（如gpu）滿載執行，提高訓練速度。 記憶體的利用率提高了，大矩陣乘法的並行化效率提高。
2、單個epoch（全資料集）的迭代次數減少了，引數的調整也慢了，假如要達到相同的識別精度，需要更多的epoch。
3、適當batch size使得梯度下降方向更加準確。
盲目增大的壞處有三點：
1、當資料集太大時，記憶體搞不定。
2、跑完一次epocffe-master/tools/extra/parse_log.sh caffe-master/tools/extra/extract_seconds.py和h(全資料集)所需迭代次數減少了，但要想達到相同的精度，時間開銷太大，引數的修正更加緩慢。
3、batchsize增大到一定的程度，其確定的下降方向已經基本不再變化。
深度學習基礎 batch size
batch size 批尺寸 是機器學習中乙個重要引數，涉及諸多矛盾，下面逐一展開。batch 的選擇，首先決定的是下降的方向。如果資料集比較小，完全可以採用全資料集 full batch learning 的形式，這樣做至少有 2 個好處 其一，由全資料集確定的方向能夠更好地代表樣本總體，從而更準...
深度學習 batch size的作用
batch 的選擇，首先決定的是下降的方向。如果資料集比較小，完全可以採用全資料集 full batch learning 的形式，這樣做至少有 2 個好處 其一，由全資料集確定的方向能夠更好地代表樣本總體，從而更準確地朝向極值所在的方向。其二，由於不同權重的梯度值差別巨大，因此選取乙個全域性的學習...
談談深度學習中的 Batch Size
batch size 批尺寸 是機器學習中乙個重要引數，涉及諸多矛盾，下面逐一展開。batch 的選擇，首先決定的是下降的方向。如果資料集比較小，完全可以採用全資料集 full batch learning 的形式，這樣做至少有 2 個好處 其一，由全資料集確定的方向能夠更好地代表樣本總體，從而更準...