樣本特徵只有乙個的線性回歸問題，為簡單線性回歸。
樣本特徵有多個的線性回歸問題，為多元線性回歸。(.兩個變數之間的關係是一次函式關係的——圖象是直線，這樣的兩個變數之間的關係就是「線性關係」；如果不是一次函式關係的——圖象不是直線，就是「非線性關係」。 )
線性回歸演算法將無數的訓練集資料放在乙個座標系中，以座標系的乙個維度作為 label，其他維度作為特徵， 最終會發現他們是沿著一條直線分布。線性回歸演算法的最終目的就是尋找出一條直線、乙個面或者體 (根據資料的維度而定)， 最大程度上 "擬合" 樣本特徵和輸出 label 之間的關係。
特徵是一維時，線性模型在二維空間構成一條直線； 特徵是二維時，線性模型在三維空間中構成乙個平面； 特徵是三維時，則最終模型在四維空間中構成乙個體； 以此類推…
在簡單線性回歸中，我們將訓練集特徵作為橫座標，訓練集 label 作為縱座標，那麼我們的最終目的就是 尋找出一條直線
找到 a 和 b 使得
求損失函式的最小值
最小二乘法求解：本質是試圖找到一條直線，使得樣本上的點到直線的歐式距離之和最小$$ j(a,b) = \sum_^ (y^ -ax^ -b)^2 $$
對損失函式求導並且令
$$ \frac =\sum_^ 2(y^ -ax^ -b)(-1) = 0 \text {} $$
機器學習演算法 線性回歸
線性回歸應該算機器學習演算法裡面最基礎的演算法了，分別用作回歸 y值為連續值 和分類 y值為離散 在學習線性回歸的過程中，有很多機器學習的概念和方法是在這時候提出的。在現實中變數之間的關係，是有確定的和非確定的。確定關係指的是變數之間可以使用函式關係式表示，非確定的部分我們可以用概率分布來表示，如乙...
機器學習演算法 線性回歸
線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。其表達形式為y w x e，e為誤差服從均值為0的正態分佈。回歸分析中，只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括...
機器學習演算法 線性模型 線性回歸
線性回歸 是試圖學得乙個線性模型盡可能準確地 實值輸出標記。西瓜書 個人通俗理解就是簡單線性回歸找到一條直線盡可能到給出的樣本點距離要小，多維則變成找乙個超平面。如上圖 3.1 3.2 均方誤差最小的直線，均方誤差即學習器到真實值的距離的平方和，來刻畫擬合直線到樣本點的差距 一元回歸不需要用到矩陣求...