該博文分析了模型訓練過程中三種loss不下降的情況，並給出了一些解決的思路。
1 網路層沒有初始化引數
2 超引數設定不合理
2.1 訓練的epoch太少
看到的只是區域性情況，最終要的其實是整體收斂就行，也許訓練100、1000、10000試試？
2.2 學習率過高或者過低？
合適的學習率可以保證每輪完整訓練之後，loss都減小，且能在一段時間後降到乙個較小的程度。太小的學習率下loss減小的速度很慢，如果太激進，設定太高的學習率，開始的loss減小速度非常可觀，可是到了某個程度之後就不再下降了，在離最低點一段距離的地方反覆，無法下降了。
3 是否正則化
4 是否批量標準化
參考5 疑問-是否需要更新預訓練嵌入的梯度？
6 網路深度不夠
怎麼解決過擬合
過擬合主要包括 建模樣本選取有誤。樣本噪音干擾過大。假設的模型無法合理存在，或者說是假設成立的條件實際並不成立。引數太多，模型複雜度過高。對於神經網路模型 a 對樣本資料可能存在分類決策面不唯一，隨著學習的進行,bp演算法使權值可能收斂過於複雜的決策面 b 權值學習迭代次數足夠多 overtrain...
過擬合問題，怎麼樣解決
過擬合有兩種原因 訓練集和測試集特徵分布不一致 白天鵝黑天鵝 或者模型太過複雜 記住了每道題 而樣本量不足 解決過擬合也從這兩方面下手，收集多樣化的樣本，簡化模型，交叉檢驗。cross validation，交叉比對 交叉驗證 來來回回用不同的測試物件和訓練物件做交叉比對。這樣學到規律就不會過擬合啦...
解決過擬合
獲取和使用更多的資料集 對於解決過擬合的辦法就是給與足夠多的資料集，讓模型在更可能多的資料上進行 觀察 和擬合，從而不斷修正自己。然而事實上，收集無限多的資料集幾乎是不可能的，因此乙個常用的辦法就是調整已有的資料，新增大量的 噪音 或者對影象進行銳化 旋轉 明暗度調整等優化。另外補充一句，cnn在影...