近似誤差：可以理解為對現有訓練集的訓練誤差。 估計誤差：可以理解為對測試集的測試誤差。*近似誤差關注訓練集，如果近似誤差小了會出現過擬合的現象，對現有的訓練集能有很好的**，但是對未知的測試樣本將會出現較大偏差的**。模型本身不是最接近最佳模型。
近似誤差其實可以理解為模型估計值與實際值之間的差距。 估計誤差其實可以理解為模型的估計係數與實際係數之間的差距。在這個k臨近法中其實設定的k值越小，得出的模型是越複雜的，因為k值越小會導致特徵空間被劃分成更多的子空間（可以理解為模型的項越多）。而k值越大得到的模型其實是越簡單的 - -
所以當k值越小，對於訓練集的**更加精確，近似誤差會越小（因為你選擇了更加複雜的模型去**訓練集）。當k值越大，對於訓練集的**則不會那麼準確，所以近似誤差會越大（因為你選擇了更加簡單的模型去**）。
而另一方面，由於設定了比較小的k值，模型比較複雜就會產生過度擬合（overfitting）的問題。
近似誤差，更關注於「訓練」。最小化近似誤差，即為使估計值盡量接近真實值，但是這個接近只是對訓練樣本（當前問題）而言，模型本身並不是最接近真實分布。換一組樣本，可能就不近似了。這種只管眼前不顧未來**的行為，即為過擬合。
估計誤差，更關注於「測試」、「泛化」。最小化估計誤差，即為使估計係數盡量接近真實係數，但是此時對訓練樣本（當前問題）得到的估計值不一定是最接近真實值的估計值；但是對模型本身來說，它能適應更多的問題（測試樣本）
潛在誤差精度誤差
乙個浮不精確到7位小數。浮精確到大約7位有效數字。乙個重要的數字是任意數字，不是乙個佔位符0，包括在小數點左邊的。例如，0095有兩個佔位符零點，所以只有2位數。34.90有4個重要人物。有兩種型別的我們需要警惕的浮點值的誤差 捨入誤差和精度誤差。捨入誤差可以任意長度的數字發生，因為一些數字的二進位...
關於訓練誤差 測試誤差 泛化誤差
我們在學習模式識別的時候，總是會遇到一些專業詞彙，而其中有的專業詞彙叫人傻傻分不清。今天我就來說說訓練誤差 測試誤差 泛化誤差到底是什麼，區別所在。對於分類學習演算法，我們一般將樣本集分為訓練集和測試集，其中訓練集用於演算法模型的學習或訓練，而測試集通常用於評估訓練好的模型對於資料的 效能評估。而這...
截斷誤差VS捨入誤差
截斷誤差 是指計算某個算式時沒有精確的計算結果，如積分計算，無窮級數計算等，使用極限的形式表達的，顯然我們只能擷取有限項進行計算，此時必定會有誤差存在，這就是截斷誤差。捨入誤差 是指由於計算機表示位數的有限，很難表示位數很長的數字，這時計算機就會將其舍成一定的位數，引起捨入誤差，每一步的捨入誤差是微...