乙個模型所能提供的資訊一般**於2個方面，一是訓練資料中蘊含的資訊，二是在模型的形成過程中（包括構造，學習，推理等），人們提供的先驗資訊。當訓練資料不足時，說明模型從原始資料中獲取的資訊比較少，這種情況下要保證模型的效果，就需要更多的先驗資訊。先驗資訊可以作用在模型上，例如讓模型採用特定的內在結構，條件假設或新增其他一些約束條件；先驗資訊也可以直接作用在資料集上，即根據特定的先驗假設去調整，變換或擴充套件訓練資料，讓其展現出更多的，更有用的資訊，以利於後續模型的訓練和學習。
在影象分類任務中，訓練資料不足會帶來什麼問題？
具體到分類任務上，，訓練資料不足帶來的問題主要體現在過擬合方面。即模型在訓練樣本上的效果可能不錯，但在測試資料集上泛化效果不佳。
如何緩解資料量不足帶來的問題？
一是基於模型的方法，主要是採用降低過擬合風險的措施，包括簡化模型 ， （將非線性模型簡化為線性模型），新增約束項以縮小假設空間（l1/l2正則項），整合學習，dropout超引數等。
二是基於資料的方法：主要通過資料擴充，即根據一些先驗知識，在保持特定資訊的前提下，對原始資料進行適當變換以達到擴充資料集的效果。
具體到影象分類任務重，在保持影象類別不變的前提下，可以對訓練集中每幅影象進行以下變換。
1.一定程度內的隨機旋轉，平移，縮放，裁剪，填充，左右翻轉等，這些變換對應著同乙個目標在不同角度的觀察結果。
2.對影象中畫素新增雜訊擾動，比如椒鹽雜訊，高斯白雜訊。
3，顏色變換。例如在rgb顏色空間上進行主成分分析，得到3個主成分特徵向量p1,p2,p3.及其對應的特徵值，然後再麼給畫素的rgb值上新增增量。
4.改變影象的亮度，清晰度，對比度，銳度。
除了直接在影象空間進行變換，還可以先對影象進行特徵提取 ，然後再影象的特徵空間內進行變換，利用一些通用的資料擴充或上取樣技術，例如smote演算法。
拋開上訴這些啟發式變化方法，使用生成模型也可以合成一些新樣本，例如非常流行的生成式對抗網路模型。
此外 借助已有的其他模型或資料進行遷移學習在深度學習中也十分常見。例如，對大部分的影象進行分類任務，並不需要從頭開始訓練模型，而是借用乙個在大規模資料集上預訓練好的通用模型，並在針對目標任務的小資料集上進行微調，這種微調操作也可以看作一種簡單的遷移學習
1、從模型方面考慮。舉例說明：本身問題是二次的，用線性模型處理問題就是欠擬合，用三次及更高次處理問題就是過擬合。但是這裡未考慮資料量的多少，只是針對本身模型階次的考慮。而且現實問題，越強大的模型是很難確定模型複雜度的。
2、處理相同的問題時，在資料量多的情況，可以用相對複雜的模型處理問題，在資料量少的情況下，可以用相對簡單的模型處理問題。過擬合：當資料量太少時，模型無法完成充分的訓練，模型過度擬合用於訓練的少量資料的資訊，對測試資料效果不好，泛化能力差；欠擬合：資料量很多，但是模型太簡單沒有充分利用資料資訊模型不夠準確。
3、欠擬合：表現為模型特徵維度過少，引數值較小等情況，此時模型過於簡單，但是資料量很大，所用模型沒有充分學習大量資料提供的資訊，模型準確性差；
解決方法：（1）增加特徵維度；，增大引數值，換用更為複雜的模型等。
過擬合：表現為特徵維度過多，引數值過大，此時模型假設過於複雜，但是訓練資料過少，雜訊過多，導致擬合的函式完美的擬合訓練集，但對新資料的測試集**結果差，泛化能力差。
解決方法：（1）減少特徵維度；（2）正則化，降低某些過大的引數值。（3）在神經網路中dropout, 隨機刪減一些神經元。
綜上所屬：可以總結為（1）當模型在訓練集上準確性一般，但是在測試集上表現也尚可，即泛化能力好時為欠擬合；（2）當模型在測試集上表現不好，泛化能力差，但是對於訓練資料準確性高時表現為過擬合；（3）兩者皆不好時考慮進一步資料與處理和特徵選擇或者換模型；（4）兩者都好時模型能夠較好的擬合現有資料，皆大歡喜。
過擬合欠擬合
一篇文章,帶你明白什麼是過擬合,欠擬合以及交叉驗證 在本文中也許你會掌握機器學習中最核心的概念 偏差 方差權衡.其主要想法是,你想建立盡可能 準確並且仍能適用於新資料的模型 這是泛化 危險的是,你可以輕鬆的在你制定的資料中建立過度擬合本地噪音的模型,這樣的模型是無用的,並且導致弱泛化能力,因為雜訊是...
過擬合 欠擬合
無論在機器學習還是深度學習建模當中都可能會遇到兩種最常見結果，一種叫過擬合 over fitting 另外一種叫欠擬合 under fitting 所謂過擬合 over fitting 其實就是所建的機器學習模型或者是深度學習模型在訓練樣本中表現得過於優越，導致在驗證資料集以及測試資料集中表現不佳。...
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...