對於簡單線性回歸，目標是找到a,b 使得
其實相當於是對訓練資料集而言的，即
當我們找到a，b後，對於測試資料集而言
但問題是，這個衡量標準和m相關。
（當10000個樣本誤差累積是100，而1000個樣本誤差累積卻達到了80，雖然80<100，但我們卻不能說第二個模型優於第乙個）
改進==> 對式子除以m，使得其與測試樣本m無關
但又有乙個問題，之前算這個公式時為了保證其每項為正，且可導（所以沒用絕對值的表示方法），我們對式子加了乙個平方。但這可能會導致量綱的問題，如房子**為萬元，平方後就成了萬元的平方。
又改進==> 對mse開方，使量綱相同
mse與rmse的區別僅在於對量綱是否敏感
又一思路，通過加絕對值
在推導a,b的式子時（對train資料集），沒用求絕對值的方法是因為其不是處處可導，不方便用來求極值。但評價模型時，對test資料集我們完全可以使用求絕對值的方式。
p.s. 評價模型的標準和訓練模型時最優化的目標函式是可以完全不一樣的。
rmse 與 mae 的量綱相同，但求出結果後我們會發現rmse比mae的要大一些。
這是因為rmse是先對誤差進行平方的累加後再開方，它其實是放大了較大誤差之間的差距。
而mae反應的就是真實誤差。因此在衡量中使rmse的值越小其意義越大，因為它的值能反映其最大誤差也是比較小的。
對於上述的衡量方法，如rmse和mae還是有問題的，還是因為量綱不一樣。比如我們**考試分數誤差是10，**房價誤差是1w。但我們卻不能評價我們的模型是更適合**分數還是**房價。
解決方法==> 新的指標：r方
（上：y**-y真，our model，下：y真平均-y真，baseline model）
使用baseline模型肯定會產生很多錯誤，我們自己的模型產生的錯誤會少一些。
1 - ourmodelerror / baselinemodelerror = 我們模型擬合住的部分
r方將回歸結果歸約到了0~1間，允許我們對不同問題的**結果進行比對了。
我們可發現，上面其實就是mse，下面就是方差
機器學習中回歸問題的效能衡量指標
回歸問題的典型效能指標是均方根誤差 rmse 它測量的是 過程中，錯誤的標準偏差 標準偏差是方差的算術平方根，而方差是離均平方差的平均數 例如，rmse等於50000就意味著，系統的 值中約68 落在50000美元之內，約95 落在100000美元之內 一種常見的特徵分布是呈鐘形態的分布，稱為正態分...
線性回歸模型評價指標
線性回歸不難，可是它裡面涉及到的一些指標卻很繁雜，關於評價回歸模型的指標在模型評價裡面有介紹，這裡主要介紹一些沒有涉及到的一些其他指標公式之類的東西。rss y1 0 1 x1 2 y2 0 1 x2 2 yn 0 1 xn 2 rss y 1 hat beta 0 hat beta 1 x 1 2...
逐步回歸法的基本步驟 逐步回歸法介紹及應用
一 逐步回歸法介紹 逐步回歸的基本思想是通過剔除變數中不太重要又和其他變數高度相關的變數，降低多重共線性程度。將變數逐個引入模型，每引入乙個解釋變數後都要進行f檢驗，並對已經選入的解釋變數逐個進行t檢驗，當原來引入的解釋變數由於後面解釋變數的引入變得不再顯著時，則將其刪除，以確保每次引入新的變數之前...