線性回歸目前是一種被廣泛應用的回歸技術，也是乙個最簡單的模型，它有很多種推廣形式，究其本質就是一系列特徵的線性組合。在二維空間，線性回歸模型就是一條直線，在三維空間，線性回歸模型就是乙個平面。
簡單點描述。線性回歸最簡單的例子就是f(x) = ax + b
其中x向量代表一條樣本,其中x1,x2…代表的就是樣本特徵，a就是一條向量代表的每個特徵所佔的權重，b是乙個標量，代表特徵為0時的**值`。
import numpy as np
a_t,b = np.array([1,2,3,4,5]),1
x = np.array([[1,1,1,1,1],[1,2,5,3,4],[5,5,5,5,5]]).t
y_hat = np.dot(a,x) + b
線性回歸模型困難的地方在於如何獲得a和b這兩個向量，李航老師的統計學習方法把乙個學習過程分為：策略，模型和演算法三個部分，為了獲得a和b我們需要一定的策略，這個策略在機器學習領域中描述為偏差，即我們常說的loss
loss = (f(x) - y)^2
梯度下降是一種優化loss的方法，它一步步讓loss往變到最小值的方向走，直到走到那個點。梯度的方向就是變化最快的方向。如果我們想讓loss的值減小，只需要沿著負梯度的方向走就行。其實grad的值就是對loss連續求偏導，就可以得到最終得權重向量a
機器學習02 線性回歸
有資料集 其中,1 2 3 其中n表示變數的數量，d表示每個變數的維度。可以用以下函式來描述y和x之間的關係 並且常用均方誤差作為回歸中常用的效能度量 生成資料 import numpy as np 生成隨機數 np.random.seed 1234 x np.random.rand 500,3 構...
機器學習筆記02 多變數線性回歸模型
n 代表特徵的數量 x i x x i 代表第i個訓練例項，是特徵矩陣中的第i行，是乙個向量。x j i x j xj i 代表特徵矩陣中第i行的第j個特徵。支援多變數的假設h表示為 h x 0 1 x1 2x2 nxn h theta x theta 0 theta 1x 1 theta 2x 2...
機器學習之線性回歸模型
1.線性回歸 什麼是回歸？從大量的函式結果和自變數反推回函式表示式的過程就是回歸。線性回歸是利用數理統計中回歸分析來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。一元線性回歸 只包括乙個自變數 和乙個因變數 且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。公式 多...