實現標準線性回歸

2021-08-04 10:19:09 字數 2794 閱讀 5996

線性回歸是假設特證滿足線性關係,根據給定的訓練資料訓練乙個模型,即回歸方程,並用此模型進行**,回歸:求回歸係數的過程。具體做法是用回歸係數乘以輸入值,將結果相加,得到**值。它是一種針對數值型資料的監督學習方法。

適用於數值型,如果是標稱型或名義型的資料,需要轉為數值型資料

對於非線性資料擬合較差

資料集包含150個樣本,每個樣本共2個特徵,第1個為輸入,第2個為結果。由於沒有提供測試集,因此隨機選擇100個樣本作為訓練集,50個樣本剔除結果後作為測試集;

通過散點圖檢視樣本分佈情況

可以看出,第一維特徵和第二維特徵具有某種線性關係yi

=xti

∗w x

i表示輸

入矩陣,

向量w存

放回歸系

數,yi

指**結

具體做法

1. 找到使誤差最小的w, 誤差是指**值和真實值之間的誤差

2. 由於誤差可正可負,因此採用平方誤差 ∑i

=1m(

yi−x

tiw)

2

3. 對w求導,令它等於0,得到w的最優值: w

優=(x

tx)−

1xty

def

regression

(xarr,yarr):

xmat = mat(xarr)

ymat = mat(yarr).t

xtx = xmat.t*xmat

if linalg.det(xtx) == 0.0:

print

"矩陣不可逆!!"

(): dataset,xarr,yarr = loaddataset(r'/home/hu/文件/ml/iris.txt') #load trainset

testset,xtarr,ytarr = loaddataset(r'/home/hu/文件/ml/iristest.txt') # load testset

由上圖可知,ypre**值和ytarr實際值的相關係數達到0.95,採用此方法具有建模效果不錯。

機器學習實戰 標準線性回歸和加權線性回歸演算法

機器學習實戰章8 乙個矩陣x 樣本資料屬性矩陣 和y 樣本資料y矩陣 可擬合出一條直線 標準線性回歸只擬合出一條直線,區域性加權線性回歸共更新x矩陣m 1次,在相鄰兩個資料之間都回歸出直線,共得到m 1條直線,連線起來就近似曲線了 改變lwlr 函式的k值,可以改變曲線的平滑度和擬合度,大家有興趣可...

線性回歸(標準回歸)

今天我們來討論機器學習的另乙個領域 首先我們來討論利用線性回歸來 數值型資料。利用線性回歸進行 的過程就是求解回歸係數的過程,求出回歸係數後進行係數與特徵值乘積求和即可,這裡我們使用最小二乘法進行求解 ex0.txt 提取碼 dbe2 def loaddataset filename numfeat...

中國貧富標準線

下面是剛頒布的 中國貧富標準線 看看我們生活在哪個層次?超級大富豪 年收入在5000萬以上 大富豪 年收入在1000 5000萬 富豪 年收入在300 1000萬之間 富人 年收入在100 300萬之間 高產者 年收入在30 100萬之間 中產者 年收入在15 30萬之間 低產者 年收入在8 15萬...