定義:
線性回歸(linear regression)是利用線性回歸方程的最小平方函式,對乙個或多個自變數和因變數之間關係進行建模的一種回歸分析。
案例:
房價**
目標:
房屋大小(x)和**(y)之間的關係
如圖所示,我們將房屋**y,與房屋大小x,繪製在座標系.
在這裡會引入新的定義:
x:特徵,協變數,自變數
y:觀測值,因變數
很明顯,在很大概率下,我們無法從乙個隨機的x下,找到y的對應值.
如此,我們取我們的房子大小兩邊的兩個**,來對房屋**進行判斷.但這會帶來另乙個問題,難道房屋的**,只和圖中圈起來的2個點有關,與其他值無關?那我們收集這麼多資料有何用處?
線性回歸:
如圖所示,我們盡量穿過最多的值(這種說法並不準確),畫出一條直線,那麼這條直線的公式為
fw(x) = w0 + w1x
w0:截距
w1:斜率
w:函式的引數
注意:通常把w1稱作特徵x的權重.
很明顯,這種直線有很多,不同的引數w會形成不一樣的直線,我們應該選擇哪條?
殘差平方和
計算每個點到直線的距離,將其平方值相加,得到殘差平方和.
殘差的含義:表示著**值和真實資料的值差了多少
那麼在多條線的情況下,w0組成乙個集合w0_hat,w1組成乙個集合w1_hat,相應的,w也組成乙個集合w_hat(為了書寫方便我直接使用了_hat,實際應寫作ŵ)
w_hat = (w0_hat,w1_hat)
fŵ(x) = ŵ0 + ŵ1 x
那麼計算你自己房價**的公式:
ŷ = ŵ0 + ŵ1 size_of_house
那麼,你有乙個數學系的研究生朋友,你把你的分析結果跟他說了.
他說,這不是乙個線性關係,試試二次函式?
注意:這仍然是乙個線性回歸,我們可以把x2認為是另乙個回歸量.
你朋友又說了,我可以最小化你的殘差平方和,來個13次函式!
wtf???還有這種操作!
就是我的房子怎麼才這麼點錢?
這種現象稱為過擬合.
end
課程:機器學習基礎：案例研究(華盛頓大學)week2 linear regression modeling
機器學習（1） 線性回歸
無正則的線性回歸模型 l1正則的lasso模型 l2正則的ridge regression 嶺回歸 模型 開方均方誤差 rooted mean squared error，rmse 平均絕對誤差 mean absolute error，mae 1.生成學習器例項 lr linearregressio...
機器學習 1 線性回歸
2 linear regression with multiple variables multivariate linear regression 多變數線性回歸 3 gradient descent in practice 3.2 learning rate 3.3 features and p...
機器學習之1 線性回歸
在最近一段時間，對機器學習進行了學習，但感覺效果不是很好。一日與朋友聊起此事，他建議建個部落格，一來梳理一下所學內容，二來和大家一起學習交流。因此，建立了此部落格，如果您發現博文中有不當之處，歡迎您來郵指明，我的郵箱為212352807 qq.com 在機器學習中，基本分為兩大問題 監督學習 sup...