線性回歸的定義：線性而不是非線性，線性在表示元素關係在影象上表示為一條直線，非線性則不是直線；回歸，多次的測量值通過方式計算，實現對真實值的逼近。
線性回歸的方法：
通過任務構造相應的損失函式；
利用梯度下降法最小化損失函式，找到相模型相應的引數。
正則化項：解決模型的過擬合和欠擬合，一般有l1，l2正則化，l1，l2正則化項是施加在引數上，對模型的引數更新進行限制，l1正則化是對引數的絕對值進行限制，由此可能在最小化損失函式的額過程中，自身引數更新迭代後變為0的情況增多，導致l1輸出稀疏的特性。l2正則化則是對引數平方再開根號，對比l1正則化，l2正則化計算更簡單。l1正則化有乙個優點，魯棒性更強，對異常值不敏感，在面對高維資料，而且是一堆資料裡面找出主要特徵，l1為首選。elasticnet回歸：結合了l1和l2，損失函式上表現為先l2，再l1。
在用線性回歸模型擬合資料之前，首先要求資料應符合或近似符合正態分佈，否則得到的擬合函式不正確。
待補充。。。
機器學習 演算法一 線性回歸
監督學習 給定資料集 部分資料集已有標籤，對其進行學習，再分類 分類問題 無監督學習 給定一系列數，讓機器自己發現規律。聚類問題 回歸問題 是指要 乙個連續值的輸出，比如房價 線性回歸是很常見的一種回歸，用來 或者分類，主要解決線性問題 m 訓練集樣本數 x 輸入變數 y 輸出變數 h 假設函式，給...
機器學習筆記 （一）線性回歸
線性回歸又稱為最小二乘法回歸ordinary least squares ols regression。簡單來說就是一條線性函式來很好的擬合已知資料並 未知資料。在回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩...
機器學習入門（一） 線性回歸
機器學習入門 一 線性回歸 基本要素 1 模型 例如針對房價建立簡單模型，只考慮 與時間的關係 price w area area w age age b 2 資料集 找到一組真實資料並稱之為訓練集，我們希望通過訓練集找到與真實情況最接近的上訴模型的未知引數。一條資料稱之為樣本，其 為乙個標籤。被 ...