什麼是線性回歸？
統計學中，線性回歸(linear regression)是利用稱為線性回歸方程的最小平方函式對乙個或多個自變數和因變數之間關係進行建模的一種回歸分析。
原理與推導
損失函式（loss function ）是定義在單個樣本上的，算的是乙個樣本的誤差。
代價函式（cost function ）是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。
目標函式（object function）定義為：最終需要優化的函式。等於經驗風險+結構風險（也就是cost function + 正則化項）。
梯度下降法
通過搜尋方向和步長來對引數進行更新。其中搜尋方向是目標函式在當前位置的負梯度方向。因為這個方向是最快的下降方向。步長確定了沿著這個搜尋方向下降的大小。迭代的過程就像是在不斷的下坡，最終到達坡地。
牛頓法
一般認為牛頓法可以利用到曲線本身的資訊，比梯度下降法更容易收斂（迭代更少次數）
擬牛頓法
牛頓法是典型的二階方法，其迭代次數遠遠小於最值下降法，但是牛頓優化法使用了二階導數，在每輪迭代中涉及海森矩陣的求逆，計算複雜度相當高，尤其在高維問題中幾乎不可行。若能以較低的計算代價尋求海森矩陣的近似逆矩陣，則可以顯著降低計算的時間，這就是擬牛頓法。
常用的擬牛頓法有dfp、bfgs、sr1方法等，這裡暫不介紹。
sse(和方差、誤差平方和)：the sum of squares due to error
mse(均方差、方差)：mean squared error
rmse(均方根、標準差)：root mean squared error
r-square(確定係數)：coefficient of determination
其實「確定係數」是通過資料的變化來表徵乙個擬合的好壞。由上面的表示式可以知道「確定係數」的正常取值範圍為[0 1]，越接近1，表明方程的變數對y的解釋能力越強，這個模型對資料擬合的也較好
scikit-learn的線性回歸
結果：
以上就是用scikit-learn和pandas學習線性回歸的過程
線性回歸演算法
1 有監督學習 supervised learning 不僅把訓練資料丟給計算機，而且還把分類的結果 資料具有的標籤 也一併丟給計算機分析。計算機進行學習之後，再丟給它新的未知的資料，它也能計算出該資料導致各種結果的概率，給你乙個最接近正確的結果。由於計算機在學習的過程中不僅有訓練資料，而且有訓練結...
線性回歸演算法
size in feet x price in 1000 s y 2104 4601416 2321534 315852 178m 訓練樣本的數目 例如上述 有四行就有4個樣本數目，有多少行就有多少樣本數目 x s 輸入變數或者目標變數 y s 輸出變數或者目標變數 x,y 則表示乙個訓練樣本 線性...
線性回歸演算法
1.本節重點知識點用自己的話總結出來，可以配上，以及說明該知識點的重要性 機器學習裡的監督學習分為回歸和分類。回歸是連續型的，分類是離散型的。回歸又分為線性回歸，logistic回歸和回歸評估。一元線性回歸 公式 y ax b 一般來說，線性回歸都可以通過最小二乘法求出其方程，可以計算出對於y bx...