單一資料作為評估標準
訓練集，驗證集和測試集的劃分
評估標準的確定
與人類的準確度進行比較
可避免偏差
目前機器識別超過人類識別的專案
優化模型
目的：選擇最合適的策略來調節網路
使得優化方法盡量不相互干擾
更大的神經網路或者選擇更好的優化方法
更大的訓練集或者正則化
更大的驗證集
更大的驗證集或者更改損失函式
將多個評估標準進行合理的整合，生成乙個單獨的評估標準作為整個網路的標準
評估標準只能在訓練集或者是在驗證集或者是在測試集進行評估，絕對不能同時使用三個資料集合進行評估
在神經網路的訓練過程中，訓練集用來訓練多種模型，驗證集用來評估，然後迭代訓練來改善在驗證集上的表現，最後在測試集上進行測試
注意：驗證集和測試集需要能反映在未來希望得到資料的分布
在訓練集、驗證集和測試集的劃分時要保證隨機性，不能加入人為干擾
在資料量較少時，訓練集、驗證集、測試集的比例為6:2:2；在大資料時，訓練集、驗證集、測試集的比例為98:1:1
根據實際需求，對評估標準進行更改，可以更好的滿足要求。
由於人類在很多學習任務中的表現效能很好，因此當深度學習任務比人類表現效能差時，可以採取以下措施：
依靠人的識別來獲取更多的標記資料
根據人的判斷方法改進演算法
更好的分析偏差和方差
貝葉斯誤差：理論上可以達到的最優誤差
很多識別任務，可以認為人類的識別準確度逼近貝葉斯誤差。我們定義訓練誤差與人類識別誤差之間的差值為可避免偏差，訓練誤差與驗證誤差之間的差值稱為方差。通過比較可避免偏差和方差來決定對偏差還是方差進行優化
產品推薦
物流貸款審批
若可避免偏差很大：
那麼訓練更大的模型
使用更長或更好的優化演算法
新的網路或者超引數除錯
若方差很大：
更多的資料
正則化新的網路或者超引數除錯
總結 吳恩達深度學習
從去年8月份開始，ai界大ip吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網 deeplearning.ai，也可以在網易雲課堂學習 有中文字幕 關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背...
深度學習 吳恩達
第三週神經網路 啟用函式 第一門課 感謝黃博的參考筆記 一次梯度下降 正向傳播與反向傳播 一次反向傳播梯度下降 注意與機器學習課程不同的一點是，第一層不算樣本輸入 a t an z a tan z a tan z 的值域是位於 1和 1之間。a t anh z e z e zez e za tanh...
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...