本章講了梯度下降的幾種方式：batch梯度下降、mini-batch梯度下降、隨機梯度下降。也講解了如何利用mapreduce或者多cpu的思想加速模型的訓練。有的時候資料量會影響演算法的結果，如果樣本資料量很大，使用梯度下降優化引數時，一次調整引數需要計算全量的樣本，非常耗時。
如果訓練集和驗證集的誤差像左邊的圖形這樣，就可以證明隨著資料量的增加，將會提高模型的準確度。而如果像右邊的圖，那麼增加樣本的數量就沒有什麼意義了。
因此可以考慮縮小m的使用量，可以使用隨機梯度下降。隨機梯度下降的過程是：隨機打散所有的樣本，然後從第乙個樣本開始計算誤差值，優化引數；遍歷所有的樣本。這樣雖然優化的方向比較散亂，但是最終還是會趨於最優解。
還有一種方式叫做小批量梯度下降，每次使用一小部分的資料進行驗證。比批量梯度下降更快，但是比隨機梯度下降更穩定。
如果資料的樣本很大，其實也可以通過map reduce的方式來進行並行處理，比如把資料切分成很多塊，每個map執行完，統一在reduce端進行引數梯度下降學習。多cpu的情況下，也是同樣的道理。
xingoo 閱讀(
...)
編輯收藏
吳恩達機器學習筆記 18 大規模機器學習
本章講了梯度下降的幾種方式 batch梯度下降 mini batch梯度下降 隨機梯度下降。也講解了如何利用mapreduce或者多cpu的思想加速模型的訓練。有的時候資料量會影響演算法的結果，如果樣本資料量很大，使用梯度下降優化引數時，一次調整引數需要計算全量的樣本，非常耗時。如果訓練集和驗證集的...
吳恩達機器學習筆記 18 大規模機器學習
本章講了梯度下降的幾種方式 batch梯度下降 mini batch梯度下降 隨機梯度下降。也講解了如何利用mapreduce或者多cpu的思想加速模型的訓練。有的時候資料量會影響演算法的結果，如果樣本資料量很大，使用梯度下降優化引數時，一次調整引數需要計算全量的樣本，非常耗時。如果訓練集和驗證集的...
吳恩達機器學習筆記（14 大規模機器學習）
主要是處理大資料集的演算法。如果我們有一億條資料，那麼我們以邏輯回歸為例，那麼我們將會計算代價函式一億次，這是乙個很大的計算量。首先應該做的事是去檢查乙個這麼大規模的訓練集是否真的必要，也許我們只用 1000 個訓練集也能獲得較好的效果，我們可以繪製學習曲線來幫助判斷。如果我們一定需要乙個大規模的訓...