記錄，根據網路引數來判斷訓練狀態；
train loss不斷下降， val(或test) loss不斷下降： 說明網路仍在學習
train loss不斷下降 val(或test) loss趨於不變： 說明網路過擬合
train loss趨於不變 val(或test) loss不斷下降： 說明資料集100%有問題
train loss趨於不變 val(或test) loss趨於不變： 說明網路訓不下去，需要減少學習率或批量數目；或者是資料集有問題（資料集標註錯誤資料比較多）
train loss不斷上公升 val(或test) loss不斷上公升： 說明網路結構設計不當，訓練超引數設定不當，資料集為經過清洗等問題。
神經網路調參
神經網路的一些調參方法小結 1 網格搜尋法 網格搜尋就是將多個引數進行笛卡爾乘積後逐個試驗，很費時間。sklearn庫有gridsearchcv函式，結合了交叉驗證，我還沒在神經網路上應用過。2 逐個調參 用列舉的方法逐個引數調優，乙個引數取最佳值後固定住再進行下乙個引數調優，比網格搜尋快一些。不過...
關於神經網路的調參經驗技巧和調參順序
二 調參順序 三 一句總結 一 模型方面基本上都做得非常好了，因此真正需要調的引數其實並不多了，或者說調很多引數實際帶來的提公升都非常小了。二 在訓練乙個深度學習模型的過程中，超引數選擇什麼最優，這是乙個基於實驗和經驗的過程。需要不停的嘗試，直到找到合適的引數值。調參就是trial and erro...
python 隨機森林調參 隨機森林調參
前兩天寫了個scikit learn初步學習，今天沒事又照著寫了個rf模型的，剛開始還不懂這個python列表推導式，想了想還是挺好用的。然後用了gridsearchcv這個引數優化類，遍歷多種引數組合 也就是暴搜最優引數組合 通過交叉驗證確定最佳效果引數。所以優化完可能對訓練資料擬合更差，泛化能力...