三、選擇合適的損失函式：
（1）l1正則化（特徵稀疏，或者降維度）
（2）l2正則化（特徵均衡減少，增強泛化）
（3）做標籤平滑操作
在**when does label smoothing help?
中，作者說明標籤平滑可以提高神經網路的魯棒性和泛化能力。
四、l1和l2正則化的作用：
（1）l1正則化可以產生稀疏權值矩陣，即產生乙個稀疏模型，可以用於特徵選擇，一定程度上，l1也可以防止過擬合
（2）l2正則化可以防止模型過擬合（overfitting）
（1）對於l1 l2正則化處理，可以參考：
（2）這裡的標籤平滑處理，可以參考：
這是個京東的演算法工程師的總結內容，講了講常見的損失函式及其應用技巧。尤其是對於 multi-task 的情況下損失函式的選取與多個損失函式的處理（簡單相加？ 加權求和？）
模型過擬合
訓練模型都會將資料集分為兩部分，一般會將0.8比例的資料集作為訓練集，將0.2比例的資料集作為測試集，來訓練模型。模型過擬合就是訓練出來的模型在訓練集上表現很好，但是在測試集上表現較差的一種現象，也就是模型對已有的訓練集資料擬合的非常好 誤差值等於0 對於測試集資料擬合的非常差，模型的泛化能力比較差...
解決過擬合
獲取和使用更多的資料集 對於解決過擬合的辦法就是給與足夠多的資料集，讓模型在更可能多的資料上進行 觀察 和擬合，從而不斷修正自己。然而事實上，收集無限多的資料集幾乎是不可能的，因此乙個常用的辦法就是調整已有的資料，新增大量的 噪音 或者對影象進行銳化 旋轉 明暗度調整等優化。另外補充一句，cnn在影...
防止過擬合以及解決過擬合
過擬合 為了得到一致假設而使假設變得過度複雜稱為過擬合。乙個過配的模型試圖連誤差 噪音 都去解釋 而實際上噪音又是不需要解釋的 導致泛化能力比較差，顯然就過猶不及了。這句話很好的詮釋了過擬合產生的原因，但我認為這只是一部分原因，另乙個原因是模型本身並不能很好地解釋 匹配 資料，也就是說觀測到的資料並...