理解訓練/驗證/測試集、偏差/方差、正則化以及梯度消失/梯度**/梯度檢驗等基本的概念。
需重點掌握為什麼正則化可以減少過擬合，以及對梯度消失和梯度**產生的原因和解決的方法。
訓練/驗證/測試集，資料量在百萬級以下，可以60/20/20，百萬級，98/1/1就可以了。
偏差/方差，偏差vias，方差variance，看實際的情況，可能既有偏差，又有方差。
正則化：l2正則化，有lambda，增大lambda，w會減小，網路會簡化，
dropout(隨機失活)，inverted dropout(反向隨機失活)，是隨機失活的一種方式，隨機減小一些網路，在測試的時候不能 用。
梯度消失/梯度**：w大於1或小於1的時候，網路加深，會是結果呈指數型增長
梯度檢驗：另一種算梯度，與我們迭代時算出的梯度計算距離，如果很接近，說明正常梯度下降。
梯度檢驗時不能使用dropout方法。
深度學習 吳恩達
第三週神經網路 啟用函式 第一門課 感謝黃博的參考筆記 一次梯度下降 正向傳播與反向傳播 一次反向傳播梯度下降 注意與機器學習課程不同的一點是，第一層不算樣本輸入 a t an z a tan z a tan z 的值域是位於 1和 1之間。a t anh z e z e zez e za tanh...
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
總結 吳恩達深度學習
從去年8月份開始，ai界大ip吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網 deeplearning.ai，也可以在網易雲課堂學習 有中文字幕 關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背...