之前我們涉及過線性回歸,不過那個是單元的(乙個未知數x),這回我們來學習一下多元線性回歸(多個x)。
首先我們給一組房子資料:
我們給出幾個關於多元線性回歸的概念(我們把**設為y,其他設為x):
可以用向量的方式表示。比如x(2) =
多元線性回歸方程就為:
還可以寫成:
hθ(x)=θ0x0+θ1x1+θ2x2+θ3x3+⋯+θnxn (x0 = 1)
然後我們可以用矩陣來表示這個多元線性回歸函式。(矩陣的知識請看我之前的文章)
用矩陣方式寫成:
化簡一下為:
接下來我們討論一下多元線性回歸的梯度下降
我們已經了解過單元線性歸回的梯度下降。而多元可以理解成對多個特徵x進行梯度下降。
所以我們需要重複以下函式直到收斂
或者說可以寫成這樣:
這個公式和之前的梯度下降函式差在了**
其實就是多乘了乙個x特性。
怎麼使梯度下降更好的工作
特徵收縮
確保不同特徵的取值,在相近的範圍內,這樣梯度下降就能更好的收斂。
可以將特徵值約束到-3到3內
比如說:
有乙個房子面積特徵x1
,取值為0~2000,有乙個房間數x2
,取值為0~5.
x1 / 2000
x2 / 5
來保證讓x1的取值為0~1,x2的取值為0~1.
均值歸一化
xi = (xi - ui) / si
ui:訓練集中xi的平均值
si:該特徵值的範圍(最大減最小)
ML 線性回歸
說句廢話,相信大多數人和我一樣,最開始學習機器學習遇到的第乙個模型便是線性回歸,而且是一元線性回歸,但就這個模型,其實包含了很多的知識點,矩陣計算,最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...
多元線性回歸
多元線性回歸的基本原理和基本計算過程與一元線性回歸相同,但由於自變數個數多,計算相當麻煩,一般在實際中應用時都要借助統計軟體。介紹多元線性回歸的一些基本問題。但由於各個自變數的單位可能不一樣,比如說乙個消費水平的關係式中,工資水平 受教育程度 職業 地區 家庭負擔等等因素都會影響到消費水平,而這些影...
多元線性回歸
from numpy import genfromtxt 用來讀取資料轉化為矩陣 from sklearn import linear model 含有回歸的模型 datapath r c users qaq desktop delivery dummy.csv 路徑 deliverydata ge...