線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關係，則稱為多元線性回歸分析。這篇的主題是一元線性回歸，下篇將講到多元線性回歸。
損失函式：最小平方差
根據最小平方法，使用梯度下降法求解y=a+bx中的a和b。那麼什麼是最小平方法？
分別從散點圖的各個資料標記點，做一條平行於y軸的平行線，相交於圖中直線(如下圖)
平行線的長度在統計學中叫做「誤差」或者『殘差」。誤差(殘差)是指分析結果的運算值和實際值之間的差。接這，求平行線長度曲平方值。損失函式的目的是使所有的樣本點的平方值總和最低。
梯度下降
假設上圖是我們的損失函式圖形，那我們需要找到的就是左邊箭頭指向的那個點，這個點對應的對應的引數便是我們找的全域性最優解。
參考：作為基礎的機器學習知識，必須要掌握具體的實現過程。在面試和筆試中都會有所涉及。
栗子傳送門 >>>>>>
機器學習 多元線性回歸及其手寫實現梯度下降
1.在回歸分析中，如果有兩個或兩個以上的自變數，就稱為多元回歸。事實上，一種現象常常是與多個因素相聯絡的，由多個自變數的最優組合共同來 或估計因變數，比只用乙個自變數進行 或估計更有效，更符合實際。因此多元線性回歸比一元線性回歸的實用意義更大。2.多元線性回歸演算法步驟 解析資料集，分割特徵和lab...
Python 機器學習 一元線性回歸
一元線性回歸模型很簡單 y1 ax b y1為實際值，為正態的誤差。y2 ax b，y2為 值。y1 y2。def model a,b,x return a x b 這裡將整組資料的 結果方差作為損失函式。j a,b sum y1 y2 2 n def cost a,b,x,y x is argu,...
機器學習 一元線性回歸演算法
線性回歸 線性回歸擬合原理 fit方法 ridge回歸 損失函式 l2 lasso回歸 損失函式 l1 懲罰項係數alpha高，菱形面積小，alpha低，菱形面積大 elastic net 損失函式 l1 l2 舉例 lasso回歸是隨機梯度下降 l1，此處選擇懲罰項係數為0.15 與 之對比的sg...