不同演算法中防止過擬合的trick總結
過擬合直觀表現是訓練集上效果好，在測試集上效果差，即模型泛化能力弱，
即模型偏差小，方差大
防止過擬合即訓練時減少訓練集部分樣本對模型的貢獻度，即降低部分樣本的權重，可以從兩個方面考慮，一是訓練時直接忽略某些樣本（實現行抽樣）；二是降低權重w（實現列抽樣）
1、正則化
l1正則化，1範數，不可微，故用座標下降法，部分權重w為0
l2正則化，2範數，可求導，用梯度下降法等，權重w可以很小
soft weight sharing，寫完高斯混合模型後補充
2、增加資料量
最直觀的方法，增加正確樣本所佔比例，相應的減少了部分錯誤樣本的權重
3、dropout
訓練過程讓部分神經元失活，可以理解為模型簡化或者整合方法，同樣效果的還有bagging和rf，注意在測試集上**時需要對從訓練集上訓練得到的w乘以keep_prob（一般是0.5），這是因為訓練時只有keep_prob的w參與訓練
4、early stopping
驗證集損失不再下降時停止
5、其他模型簡化
減少神經網路層數
減少決策樹深度、剪枝
6、其他
貝葉斯定理等
機器學習中防止過擬合方法
在進行資料探勘或者機器學習模型建立的時候，因為在統計學習中，假設資料滿足獨立同分布，即當前已產生的資料可以對未來的資料進行推測與模擬，因此都是使用歷史資料建立模型，即使用已經產生的資料去訓練，然後使用該模型去擬合未來的資料。但是一般獨立同分布的假設往往不成立，即資料的分布可能會發生變化 distri...
防止過擬合以及解決過擬合
過擬合 為了得到一致假設而使假設變得過度複雜稱為過擬合。乙個過配的模型試圖連誤差 噪音 都去解釋 而實際上噪音又是不需要解釋的 導致泛化能力比較差，顯然就過猶不及了。這句話很好的詮釋了過擬合產生的原因，但我認為這只是一部分原因，另乙個原因是模型本身並不能很好地解釋 匹配 資料，也就是說觀測到的資料並...
過擬合以及如何防止過擬合
過擬合即模型在訓練過程中對模型引數進行擬合的過程中，由於訓練資料集存在抽樣誤差 雜訊 複雜的模型在訓練的過程中會將抽樣誤差也一同進行擬合。這就導致訓練好的模型在訓練集上的表現很好，在測試集上的表現很差的原因。導致過擬合的主要原因有兩個 資料量太少和模型過於複雜 因為機器學習演算法在擬合出正確的規則後...