1.3泛化能力、過擬合、欠擬合
1.4交叉驗證法
線性回歸
監督學習（supervised learning）
非監督學習（unsupervised learning）
梯度下降法：通過一步一步迭代，邊訓練資料，邊調整引數，計算偏導，使回歸使終是保持梯度下降的，即最優，來得到最小化的損失函式和此時的模型引數值
牛頓法：在梯度下降原理基礎上，優化的二階收斂，下降過程中採用二次曲面，考慮了每走一步對當前最大角度產生的影響，梯度下降是一階收斂，乙個平面下靜態的擬合區域性，只考慮了本步靜態的最大方向。
所以牛頓法比梯度下降法下降要快。
擬牛頓法：在每一步迭代時只要求知道目標函式梯度，通過測量梯度變化構造乙個目標函式的模型，使之產生超線性收斂性。不需要二階層數資訊。可以用來解決無約事，約事，和大規模的優化問題。
它是解非線性方程組及最優化計算中最有效的方法之一。
sse(誤差平方和)：誤差平方和，即(真實值-**值)的平方和
同樣的資料集的情況下，sse越小，誤差越小，模型效果越好
缺點：隨著樣本增加，sse必然增加，也就是說，不同的資料集的情況下，sse比較沒有意義
r-square(決定係數)：1- 誤差平方和/原始真實資料與平均值差方和。綜合考慮了**資料和原始資料的誤差以及原始資料的離散程度。消除了原始資料離散程度的影響。
r^2 越接近1，表示方程變數對y的解釋能力越強，模型對資料擬合越好。
r^2 越接近0，表明模型擬合越差。
缺點：資料集的樣本越大，r^2越大，所以，不同資料集的模型結果比較會有一定的誤差
adjusted r-square：校正決定係數。加入樣本資料和特徵資料評價指標，消除了樣本資料和特徵數量的影響。
linearregression(fit_intercept=true,normalize=false,copy_x=true,n_jobs=1)
fit_intercept:是否有截據，如果沒有則直線過原點。
normalize:是否將資料歸一化
copy_x:預設為true，當為true時，x會被copied,否則x將會被覆寫。
n_jobs:預設值為1。計算時使用的核數
線性回歸基礎知識
理解什麼是線性回歸 線性回歸也被稱為最小二乘法回歸 linear regression,also called ordinary least squares ols regression 它的數學模型是這樣的 y a b x e 其中，a被稱為常數項或截距 b被稱為模型的回歸係數或斜率 e為誤差項。...
機器學習入門1 1 線性回歸
我在csdn也同步發表了此文 理解線性回歸是我個人認為的了解機器學習為何物的最好的方式之一，線性回歸不需要很難的數學基礎。標題中說的是多變數線性回歸，實際上還有單變數線性回歸，但後者較為簡單，我們稍後會提及 圖1 多變數意味著多特徵，上圖就顯示了房價和很多特徵的對應關係，這些特徵中有房屋面積 臥室數...
機器學習實戰 標準線性回歸和加權線性回歸演算法
機器學習實戰章8 乙個矩陣x 樣本資料屬性矩陣 和y 樣本資料y矩陣 可擬合出一條直線 標準線性回歸只擬合出一條直線，區域性加權線性回歸共更新x矩陣m 1次，在相鄰兩個資料之間都回歸出直線,共得到m 1條直線，連線起來就近似曲線了 改變lwlr 函式的k值，可以改變曲線的平滑度和擬合度，大家有興趣可...