今天有同學提問：老師，用預訓練網路過擬合，微調，降低學習率以後，還是過擬合。
訓練集在0.99或者1，測試集在0.95上不去了，測試集的loss也大得多。還有什麼方法能再提高測試集的準確率或者減小過擬合嗎？
這裡可以看到這位同學已經探索了一些方法，可以繼續使用dropout和正則化來抑制過擬合問題，但是解決過擬合最終的方法仍然是使用更多的訓練資料。
過擬合的本質是模型對於train資料分布不能代表全部資料的分布，假設train資料足夠多甚至囊括了全部資料的話，模型就會學習到所有資料的表達，而不會在test上表現很差了。
過擬合的解決方法
overfitting就是過擬合,其直觀的表現如下圖所示，隨著訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大 因為訓練出來的網路過擬合了訓練集,對訓練集外的資料卻不work,這稱之為泛化 generalization 效能...
解決過擬合
獲取和使用更多的資料集 對於解決過擬合的辦法就是給與足夠多的資料集，讓模型在更可能多的資料上進行 觀察 和擬合，從而不斷修正自己。然而事實上，收集無限多的資料集幾乎是不可能的，因此乙個常用的辦法就是調整已有的資料，新增大量的 噪音 或者對影象進行銳化 旋轉 明暗度調整等優化。另外補充一句，cnn在影...
防止過擬合以及解決過擬合
過擬合 為了得到一致假設而使假設變得過度複雜稱為過擬合。乙個過配的模型試圖連誤差 噪音 都去解釋 而實際上噪音又是不需要解釋的 導致泛化能力比較差，顯然就過猶不及了。這句話很好的詮釋了過擬合產生的原因，但我認為這只是一部分原因，另乙個原因是模型本身並不能很好地解釋 匹配 資料，也就是說觀測到的資料並...