這個答案寫的很好，下次再總結下
batchsize 影響模型的泛化效能，小的batchsize能提高模型的泛化效能。隨機梯度下降演算法的原理如下：
n是批量大小（ batchsize),η是學習率(learning rate)。可知道除了梯度本身，這兩個因子直接決定了模型的權重更新，從優化本身來看它們是影響模型效能收斂最重要的引數。
學習率直接影響模型的收斂狀態，batchsize則影響模型的泛化效能。
1）相對大的batchsize 減少訓練時間，提高穩定性，但降低泛化效能。
同樣的epoch數目，大的batchsize需要的batch數目減少了，所以可以減少訓練時間，目前已經有多篇公開**在1小時內訓練完imagenet資料集。另一方面，大的batch size梯度的計算更加穩定，因為模型訓練曲線會更加平滑。在微調的時候，大的batch size可能會取得更好的結果。
表明大的batchsize收斂到sharp minimum，而小的batchsize收斂到flat minimum，後者具有更好的泛化能力。兩者的區別就在於變化的趨勢，乙個快乙個慢，
關於在深度學習中訓練資料集的batch的經驗總結
由於深度學習的網格很大，用來訓練的資料集也很大。因此不可能一下子將所有資料集都輸入到網路中，便引入了batch size的概念，下面總結自己兩種常用的呼叫batch的方法 1 使用tensorflow，tf.train.batch 2 offset offset batch size len ima...
如何對batch的資料求Gram矩陣
由這個矩陣的樣子，很容易就想到協方差矩陣。如果協方差矩陣是什麼忘了的化可以參考 2 可以看到gram矩陣是沒有減去均值的協方差矩陣。協方差矩陣是一種相關性度量的矩陣，通過協方差來度量相關性，也就是度量兩個風格的相似性。如果相對協方差和相關係數有進一步了解，可以參考 3 了解gram矩陣的概念和性質 ...
深度學習中對 end2end的理解
深度學習中對 end2end的理解 在神經網路中，經常看到end2end的訓練方式。end2end在不同的應用場景中有不同的詮釋，對於視覺領域而言，神經網路的輸入為，輸出就是我們想要的結果。例如 1,自動駕駛中，輸入為道路的，輸出就是轉向的角度。2，視覺機械人，輸入的是，輸出就是機械手運動的指令。3...