獲得更多的訓練例項——通常是有效的，但代價較大，下面的方法也可能有效，可
考慮先採用下面的幾種方法。————解決高方差
嘗試減少特徵的數量 ————解決高方差
嘗試獲得更多的特徵 ————解決高偏差
嘗試增加多項式特徵 ————解決高偏差
嘗試減少正則化程度λ ———解決高偏差
嘗試增加正則化程度λ ———解決高方差
紹怎樣評估機器學習演算法的效能？？？
「機器學習診斷法」
判斷是否過擬合：們將資料分成訓練集和測試集，通常用 70%的資料作為訓練集，用剩下 30%的資料作為測試集。很重要的一點是訓練集和測試集均要含有各種型別的資料，通常我們要對資料進行「洗牌」，然後再分成訓練集和測試集
對於線性回歸模型，我們利用測試集資料計算代價函式 j
對於邏輯回歸模型，我們除了可以利用測試資料集來計算代價函式外：
誤分類的比率，對於每乙個測試集例項，計算：
然後對計算結果求平均
模型選擇和交叉驗證集：
60%資料作為訓練集，20%資料作為交叉驗證集，20%作為測試集。
模型選擇方法：
1 使用訓練集訓練出10個模型
2 用10個模型分別對交叉驗證集計算得出交叉驗證誤差(代價函式的值)
3 選取代價函式最小的模型
4 用3選出的模型對測試集計算得出推廣誤差（代價函式的值）
如果演算法表現不理想，主要是兩種情況：1）偏差比較大，high bias——欠擬合；2）方差比較大，high variance——過擬合
正則化和偏差方差：我們選擇一系列的想要測試的λ值，通常是 0-10 之間的呈現 2 倍關係的值（如：0,0.01,0.02,0.04,0.08,0.15,0.32,0.64,1.28,2.56,5.12,10 共 12 個）。 我們同樣把資料分為訓練集、交叉驗證集和測試集。
選擇λ方法:
1 使用訓練集訓練出12個不同程度正則化模型
2 用12模型分別對交叉驗證集計算出交叉驗證誤差
3 選擇得出交叉驗證誤差最小的模型
4 運用3中的模型對測試集計算出推廣誤差
注：1 當λ較小時，訓練誤差較小（過擬合）而交叉驗證集誤差較大
2 當λ增加，訓練集誤差不斷增大（欠擬合），而交叉驗證集則先減小後增大
學習曲線：將訓練集誤差和交叉驗證集誤差作為訓練集數量(m)的函式繪製的圖表。
在高方差/過擬合的情況下，增加更多資料到訓練集可能可以提高演算法效果
模型的方差與偏差
泛化誤差可以分為三個部分，偏差 bias 方差 variance 和雜訊 noise 其中可控的是偏差 bias 方差 variance 偏差 bias，指的是模型 值偏離真實值的程度 方差 variance，值模型 值的離散程度，比如兩條幾乎相同的樣本，但是 值可能差很多 bias 和varian...
模型評估 偏差bias和方差variance
1 定義 觀測值 y 特徵值 x 且，假設 用偏差和方差來表述 則，最後一項為系統雜訊，是無法通過模型降低的。1.1 偏差bias與方差variance，他們的基本定義如下 偏差bias 描述 模型的期望與理論模型之間的差距，偏差越大偏離理論值越大。b ias f x e f x f x 公式3 方...
細化深度學習 模型評價之方差 偏差
細化深度學習這個系列主要是想總結一些深度學習常用的比較基礎的方法及其原理。補充自己深度學習知識體系中的細節部分。在看 時既能縱觀整體結構，又能捕捉細枝末節。當然，既然是總結，就得綜合不同的文獻和教程。原創是不可能的原創的，只是加入一些自己的理解 小白本白暴風哭泣 老規矩，參考文獻在文末，需要自取 作...