欠擬合: 在訓練資料和未知資料上表現都很差，高偏差
解決方法：
1）新增其他特徵項，有時候我們模型出現欠擬合的時候是因為特徵項不夠導致的，可以新增其他特徵項來很好地解決。例如，「組合」、「泛化」、「相關性」三類特徵是特徵新增的重要手段，無論在什麼場景，都可以照葫蘆畫瓢，總會得到意想不到的效果。除上面的特徵之外，「上下文特徵」、「平台特徵」等等，都可以作為特徵新增的首選項。
2）新增多項式特徵，這個在機器學習演算法裡面用的很普遍，例如將線性模型通過新增二次項或者三次項使模型泛化能力更強。例如上面的的例子。
3）減少正則化引數，正則化的目的是用來防止過擬合的，但是現在模型出現了欠擬合，則需要減少正則化引數
過擬合： 在訓練資料上表現良好，在未知資料上表現差。高方差
1）重新清洗資料，導致過擬合的乙個原因也有可能是資料不純導致的，如果出現了過擬合就需要我們重新清洗資料。
2）增大資料的訓練量，還有乙個原因就是我們用於訓練的資料量太小導致的，訓練資料佔總資料的比例過小。
3）採用正則化方法：
正則化方法包括l0正則、l1正則和l2正則，而正則一般是在目標函式之後加上對於的範數。但是在機器學習中一般使用l2正則，下面看具體的原因。
l0範數是指向量中非0的元素的個數。
l1範數是指向量中各個元素絕對值之和，也叫「稀疏規則運算元」（lasso regularization）。
兩者都可以實現稀疏性，既然l0可以實現稀疏，為什麼不用l0，而要用l1呢？個人理解一是因為l0範數很難優化求解（np難問題），二是l1範數是l0範數的最優凸近 似， 而且它比l0範數要容易優化求解。所以大家才把目光和萬千寵愛轉於l1範數。
l2範數是指向量各元素的平方和然後求平方根。可以使得w的每個元素都很小，都接近於0，但與l1範數不同，它不會讓它等於0，而是接近於0。l2正則項起到使得引數w變小加劇的效果，但是為什麼可以防止過擬合呢？乙個通俗的理解便是：更小的引數值w意味著模型的複雜度更低，對訓練資料的擬合剛剛好（奧卡姆剃刀），不會過分擬合訓練資料，從而使得不會過擬合，以提高模型的泛化能力。還有就是看到有人說l2範數有助於處理 condition number不好的情況下矩陣求逆很困難的問題（具體這兒我也不是太理解）。
4）採用dropout方法。這個方法在神經網路裡面很常用。dropout方法是imagenet中提出的一種方法
過擬合和欠擬合
嘗試不同的模型 既然有一種可靠的方法來測量模型精度，那麼可以嘗試使用其他模型，並檢視哪種模型可以提供最佳 但是對模型有什麼選擇？可以在scikit learn的文件中看到決策樹模型有很多選項 比您長期想要或需要的更多 最重要的選項決定了樹的深度。回想一下這個微課程的第一課，樹的深度是衡量它在進行 之...
欠擬合和過擬合
解決欠擬合問題，可以從以下三個方面入手 1 增加特徵項 在大多數情況下出現過擬合是因為沒有準確把握資料的主要特徵，可以嘗試在模型中加入更多的和原始資料有重要相關性的特徵來尋連搭建的模型，著牙嗎嗯得到的模型可能會有更好的泛化能力。2 構造複雜的多項式 3 減少正則化引數 解決過擬合問題 1 增大訓練的...
過擬合和欠擬合
乙個假設在訓練資料上，能夠獲得比其他假設更好的擬合，但是在訓練資料外的資料集上卻不能很好的擬合資料，此事認為這個模型出現了過擬合現象 模型過於複雜 原因 原始特徵過多，存在一些嘈雜特徵，模型過於複雜是因為模型嘗試去兼顧各個測試資料點 解決辦法 乙個假設在訓練集上不能獲得更好的擬合，但是在訓練資料集以...