多元線性回歸 ML

2022-07-13 11:30:18 字數 1169 閱讀 5309

之前我們涉及過線性回歸,不過那個是單元的(乙個未知數x),這回我們來學習一下多元線性回歸(多個x)。

首先我們給一組房子資料:

我們給出幾個關於多元線性回歸的概念(我們把**設為y,其他設為x):

可以用向量的方式表示。比如x(2) =

多元線性回歸方程就為:

還可以寫成:

hθ(x)=θ0x0+θ1x1+θ2x2+θ3x3+⋯+θnxn (x0 = 1)

然後我們可以用矩陣來表示這個多元線性回歸函式。(矩陣的知識請看我之前的文章)

用矩陣方式寫成:

化簡一下為:

接下來我們討論一下多元線性回歸的梯度下降

我們已經了解過單元線性歸回的梯度下降。而多元可以理解成對多個特徵x進行梯度下降。

所以我們需要重複以下函式直到收斂

或者說可以寫成這樣:

這個公式和之前的梯度下降函式差在了**

其實就是多乘了乙個x特性。

怎麼使梯度下降更好的工作

特徵收縮

確保不同特徵的取值,在相近的範圍內,這樣梯度下降就能更好的收斂。

可以將特徵值約束到-3到3內

比如說:

有乙個房子面積特徵x1

,取值為0~2000,有乙個房間數x2

,取值為0~5.

x1 / 2000

x2 / 5

來保證讓x1的取值為0~1,x2的取值為0~1.

均值歸一化

xi = (xi - ui) / si

ui:訓練集中xi的平均值

si:該特徵值的範圍(最大減最小)

ML 線性回歸

說句廢話,相信大多數人和我一樣,最開始學習機器學習遇到的第乙個模型便是線性回歸,而且是一元線性回歸,但就這個模型,其實包含了很多的知識點,矩陣計算,最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...

多元線性回歸

多元線性回歸的基本原理和基本計算過程與一元線性回歸相同,但由於自變數個數多,計算相當麻煩,一般在實際中應用時都要借助統計軟體。介紹多元線性回歸的一些基本問題。但由於各個自變數的單位可能不一樣,比如說乙個消費水平的關係式中,工資水平 受教育程度 職業 地區 家庭負擔等等因素都會影響到消費水平,而這些影...

多元線性回歸

from numpy import genfromtxt 用來讀取資料轉化為矩陣 from sklearn import linear model 含有回歸的模型 datapath r c users qaq desktop delivery dummy.csv 路徑 deliverydata ge...