python實現最小二乘法線性擬合

本文python**實現的是最小二乘法線性擬合，並且包含自己造的輪子與別人造的輪子的結果比較。

問題：對直線附近的帶有雜訊的資料進行線性擬合，最終求出w,b的估計值。

最小二乘法基本思想是使得樣本方差最小。

**中self_func()函式為自定義擬合函式，skl_func()為呼叫scikit-learn中線性模組的函式。

import numpy as np

im matplotlib.pyplot as plt

from sklearn.linear_model import linearregression

n = 101

x = np.linspace(0,10,n)

noise = np.random.randn(n)

y = 2.5 * x + 0.8 + 2.0 * noise

def self_func(steps=100, alpha=0.01):

w = 0.5

b = 0

alpha = 0.01

for i in range(steps):

y_hat = w*x + b

dy = 2.0*(y_hat - y)

dw = dy*x

db = dy

w = w - alpha*np.sum(dw)/n

b = b - alpha*np.sum(db)/n

e = np.sum((y_hat-y)**2)/n

#print程式設計客棧 (i,'w=',w,'\tb=',b,'\te=',e)

print ('self_func:\tw =',w,'\n\tb =',b)

plt.scatter(x,y)

plt.plot(np.arange(0,10,1), w*np.arange(0,10,1) + b, color = 'r', marker = 'o', label = 'self_func(steps='+str(steps)+', alpha='+str(alpha)+')')

def skl_func():

lr = linearregression()

lr.fit(x.reshape(-1,1),y)

y_hat = lr.predict(np.arange(0,10,0.75).reshape(-1,1))

print('skl_fun:\tw = %f\n\tb = %f'%(lr.coef_,lr.intercept_))

plt.plot(np.arange(0,10,0.75), y_hat, color = 'g', marker = 'x', label = 'skl_func')

self_func(10000)

skl_func()

plt.legend(loc='upper left')

plt.show()

結果：self_func:  w = 2www.cppcns.com.5648753825503197     b = 0.24527830841237772

s     w = 2.5648ouqnhtrc75                             b = 0.245278

本文標題: python實現最小二乘法線性擬合

本文位址:

最小二乘法線性回歸函式編碼實現

以前在統計學的學習中，有回歸分析，如果只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析，最小二乘法可根據給定的資料擬合出一條近似的直線。package cn.zhf.test 最小二乘法 線性回歸 y a x b b sum y n a sum x n...

線性最小二乘法

example f x 12 ax b 22 f x frac parallel ax b parallel 2 2 f x 2 1 a x b 22 最小化下式時x的值。首先計算 xf x at a x b ata x at b big down xf x a t ax b a tax a tb ...

線性擬合最小二乘法Python實現

下面 實現的是最小二乘法線性擬合，並且包含自己造的輪子與別人造的輪子的結果比較。問題 對 y 2.5x 0.8 y 2.5x 0.8 直線附近的帶有雜訊的資料進行線性擬合，最終求出w,b的估計值。最小二乘法基本思想是使得樣本方差最小。中self func 函式為自定義擬合函式，skl func 為呼...