θ的個
數或者x
的指數大
小來獲得
不同形狀
的擬合曲
線 看下面的圖：
左邊的曲線是在假設y=
θ0+θ
1x時的擬合結果，但顯然中間的曲線要比左邊的擬合效果更好。我們稱左邊的情況為欠擬合（underfitting）。
這樣看來右邊的不是比左邊更好嗎？！。。。no！我們稱右邊的情況為過擬合(overfitting)！因為它已經不能反應出樣本的整體分布情況！
在之前的線性回歸中，我們的流程是：
現在，在lwr中，與上面的不同之處只是在代價函式中加了個非負的權值w(
們給w(
i)乙個
很大的值
時，在計
算選擇θ
時，就會
更加..
.更加盡
可能的讓
（y(i
)−θt
x(i)
）2的值
小。也就
是說我們
更加重視
第i個樣
本。同理
，當w(
i)很小
很小時，
也就代表
我們基本
可以忽略
第i個樣
本 一般
而言我們
選擇權重
w的規則
如下：
x是要預
測的樣本
，可以看
出：當|
x(i)
−x|越
小時，權
重w(i
)越接近
1；當|
x(i)
−x|越
大時，權
重w(i
)越接近
0 其實可以理解為：對於距離非常大的樣本，我們更加傾向於將其當成雜訊。
但是他有乙個缺點：每次**時都要重新計算**樣本與「參考樣本」（訓練樣本）的距離，確定新的權重。因此當訓練樣本量很大時，該方法效率很低。
在上式中，τ稱
為波長（
band
widt
h）引數
，它控制
了權值大
小相對於
距離的變
化速度，
τ越小，
w變化越
快；τ越
大，w變
化越慢。
欠擬合與過擬合
在用機器學習搭建模型時，經常會碰到這樣一種情況，你的模型演算法在樣本資料中匹配的非常完美。但用新資料測試，發現模型結果和實際差距非常大。那麼恭喜你！你掉進了機器學習中常見的乙個大坑 過擬合。什麼是過擬合呢？機器學習本質上是通過建立資料模型，使其和現有資料相吻合，從而找到資料中內在的規律。如下面三張圖...
欠擬合與過擬合
一 1.欠擬合 訓練集上表現很差 這種情況在測試集上也不會好 高偏差 bias 解決辦法 選擇更複雜的網路 有正則項就減小正則項引數等。2.過擬合 訓練集上表現很好，但測試集上表現很差，高方差 variance 解決辦法 採用更多資料 如果有正則化就增加正則化引數，沒有就加上正則化 dropout等...
過擬合與欠擬合
過擬合與欠擬合 欠擬合 個人理解就是由於資料少 正則化太厲害 模型複雜度太簡單等原因，導致模型沒有學習到足夠的規律，準確率與模型可達到的準確率差距較大。但是模型在訓練集和測試集的曲線趨勢是正常收斂的。解決方法為有 增加特徵，尋找與標籤相關性較大的特徵，在保證特徵沒有共線性的前提下，增加特徵的數量 減...