1.train loss不斷下降，test loss不斷下降，網路正在學習
2.train loss不斷下降，test loss趨於不變，網路過擬合，需要增大資料；減小網路規模dropout；權重衰減或正則化l2等
3.train loss趨於不變，test loss趨於不變，遇到瓶頸，需要減少學習率和批處理大小
4.train loss趨於不變，test loss不斷下降，資料集100%有問題
5.train loss不斷上公升，test loss不斷上公升，可能網路結構設計不當，超參設定不當，bug等
6.train loss不斷上下跳動，可能學習率過大或批處理太小
7.batchnorm：如果每個batch輸入的資料都具有不同的分布，會給網路的訓練帶來困難，資料經過一層層網路計算後，資料分布
也會發生變化，此現象稱為 internal covariate shift(內部協變數漂移)，之前的解決方法是：較小的學習率；小心的初始化引數；資料白化處理
internal：發生在網路內部
covariate shift：發生在輸入層
讓每個隱層節點的啟用輸入分布固定下來，這樣就避免internal covariate shift
8.偏差：模型結果和實際結果的偏離程式
9.方差：模型結果圍繞著實際結果波動的程度
10.偏差大：不了解資料和資料形態；增加維度，如多項式、高階項，減少正則引數
11.方差大：波動(可能來自無關緊要的離群值)、不收斂、模型沒有找到資料變換的節奏、提供的資料變化不豐富；增加樣本，減少特徵集合size、增大正則引數
關於神經網路的一些認識
如果說線性分類器使用直線作為分類的邊界，那麼神經網路則是在使用線性分類的基礎上加了非線性的分類，也就是曲線。直接說就是，比如在svm上是權重w與輸入x相乘之後就是計算損失函式 直接使用w權重矩陣對輸入x進行分類，而神經網路是在使用w權重對輸入x進行分類之前，先用啟用函式計算輸入x的值，而神經網路裡則...
關於卷積神經網路的一些定義
卷積神經網路 convolutional neural networks,cnn 是一類包含 卷積計算且具有深度結構的 前饋神經網路 feedforward neural networks 是 深度學習 deep learning 的代表演算法之一 1 2 由於卷積神經網路能夠進行平移不變分類 sh...
神經網路設計及調參的一些建議
一 卷積相關 1 靠近資料層的卷積的數量一般會比後面卷積層的輸出要少，例子vgg16後面的conv層輸出通道比剛開始要多 2 在輸入的影象解析度較低時，不宜使用跨度太大的stride size。3 卷積層可以很好的保留位置資訊，如果要做位置資訊的提取，那麼可以從這個層中提取出來。4 卷積層之間最好是...