損失率下降,但是準確率卻提公升慢或準確率結果不高

2021-10-14 16:13:13 字數 852 閱讀 9887

問題原因:

學習率設定太高,乙個epoch直接收斂,所以損失不會下降。又沒有設定防止過擬合的比如學利率一開始設定為1,因為下降太快,那麼很有可能在乙個epoch舊完全收斂。所以看到的validation數值並不下降,第乙個epoch就已經處於谷底了。

最常見的原因:過擬合。主要包括:資料量小,網路複雜,

learning rate 比較高,又沒有設定任何防止過擬合的機制

解決方法:

簡化模型,且進行資料增強,如:翻轉,平移,隨機裁剪等

利用 dropout層

利用正則化normalization

沒有在分驗證集之前打亂資料

資料和標籤沒有對上

訓練資料太少,validation資料太多,類別也太多,解決方法:1.使用別的大的資料集預訓練; 2.使用資料增強; 3.可以考慮遷移學習

使用預訓練的權重,比較流行的backone網路,如vgg16等都有在imagenet資料集預訓練的權重,使用這種權重,效果更好。

網路結構有問題。可以通過使用現在流行的網路(resnet,unet等)替入你的**,如果結果沒有問題,你的結果有問題那麼肯定就是你網路結構出問題了。那麼可以通過逐層注釋掉排查究竟**出了問題。

網路最後一層沒有使用正確的啟用函式,比如多類別資料的應該使用softmax進行處理;

relu處理後面是softmax。有一些說法是relu由於對於很大的數值直接複製,所以會對softmax產生不好的影響,從而輸出不好的結果。所以可以使用tanh代替relu。

batch normalization需要batch size至少16張

可能設定了一些引數是不可訓練的。在訓練語句之前,檢查以下你的trainable引數,是否設定了一些引數是不可訓練的。

準確率召回率

知道意思,但是有時候要很清晰地向同學介紹則有點轉不過彎來。召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall,又稱 查全率 還是查全率好記,也更能體現其實質意義。準確率 precision,又稱 精度 正確率 以檢索為例,可以把搜尋情況用下圖表示 相關 ...

準確率 精確率 召回率

準確率 accuracy 精確率 precision 和召回率 recall 2 是資訊檢索,人工智慧,和搜尋引擎的設計中很重要的幾個概念和指標。中文中這幾個評價指標翻譯各有不同,所以一般情況下推薦使用英文。先假定乙個具體場景作為例子。假如某個班級有男生80人,女生20人,共計100人.目標是找出所...

精確率 召回率 準確率

精確率是針對我們 結果而言的,它表示的是 為正的樣本中有多少是真正的正樣本。那麼 為正就有兩種可能了,一種就是把正類 為正類 tp 另一種就是把負類 為正類 fp 也就是 召回率是針對我們原來的樣本而言的,它表示的是樣本中的正例有多少被 正確了。那也有兩種可能,一種是把原來的正類 成正類 tp 另一...