在二維平面內，有一些資料集，分別對應的有x值和y值，然後x與y之間有對應的函式關係。而我們說的線性回歸，就是擬合出一條直線段，讓盡可能多的資料集在直線段附近，擬合出最好的一條線段。
描述y和x之間關係的函式表示式我們可以寫為：
?(?)=?0+?1?1+?2?2+…+????
如何確定好? 的值，使得?(?) 盡可能接近y的值。均方誤差是回歸中常用的效能度量：
對於( hθ
(x(
i)−y
(i))
2(hθ(x(i)−y(i))^2
(hθ(x
(i)−
y(i)
)2而言，為了可以找到最優值θ，將其變為凸函式，這樣子只要找到合適的學習率，不斷迭代，即可找到全域性最優值。
梯度下降法是一種迭代演算法．選取適當的初值x(0)x(0)，不斷迭代，更新x的值，進行目標函式的極小化，直到收斂．由於負梯度方向是使函式值下降最快的方向，在迭代的每一步，以負梯度方向更新x的值，從而達到減少函式值的目的。
這個演算法成為隨機梯度下降法，隨機梯度下降法的好處是，當資料點很多時，執行效率更高；缺點是，因為每次只針對乙個樣本更新引數，未必找到最快路徑達到最優值，甚至有時候會出現引數在最小值附近徘徊而不是立即收斂。但當資料量很大的時候，隨機梯度下降法經常優於批梯度下降法。
牛頓法和擬牛頓法也是求解無約束最優化問題的常用方法，有收斂速度快的優點．牛頓法是迭代演算法，每一步需要求解目標函式的海賽矩陣的逆矩陣，計算比較複雜
mae(mean absolute error) 平均絕對誤差
學習 機器學習之線性回歸篇
2019年3月7日，學習內容 1 什麼是線性模型 變數與變數之間的關係能夠用一次模型來表示 舉例 y c ax by cz 則此為線性模型，需要注意的是直線是特殊的線性模型 因為只有兩個變數時，並且這兩個變數是一元一次方程的關係，則是直線 以前一直以為線性回歸模型就是直線模型，這是錯誤認識。2 當使...
機器學習 機器學習入門04 線性回歸
總的來說，分類 classification 和回歸 regression 是機器學習中的兩大類問題。它們其實都是在做同一件事情 將輸入轉化為輸出。區別在於，分類得到的輸出是離散值，例如之前的癌症問題中的良性 0 和惡性 1 而回歸的得到的輸出是連續值。本篇文章，將開始討論回歸問題。我們從最簡單的線...
Python學習（機器學習 多變數線性回歸）
通過scale feature利用梯度下降法求theta 直接代入推導出來的theta公式 通過驗算測試引數，可以得知兩個方法 結果相同 part1 load data print loading data.n f open c python27 machinelearning ex1data2.t...