多元線性回歸顧名思義,就是假設多個自變數同時對乙個因變數產生影響。其特殊情況就是一一對映,即乙個自變數對應乙個因變數。
首先我們先了解一些指標。這些指標在機器學習中很常見。我偷懶,
def r_square_score(y_predict,y_test):
r = 1 - mse_score( y_predict,y_test )/mse_score( np.array([np.mean(y_test)]*len(y_test)) , y_test )
return r
下面是線性回歸的**簡單實現:
def lr(train_feature,train_label,test_feature):
'''input:
train_feature(ndarray):訓練樣本特徵
train_label(ndarray):訓練樣本標籤
test_feature(ndarray):測試樣本特徵
output:
predict(ndarray):測試樣本**標籤
'''#將x0=1加入訓練資料
new_train = np.concatenate( (np.ones(len(train_feature)).reshape(-1,1) , train_feature) , axis=1)
#使用正規方程解求得引數
theta = np.linalg.inv( new_train.t @ new_train ) @ new_train.t @ train_label
#將x0=1加入測試資料
new_test = np.concatenate( (np.ones(len(test_feature)).reshape(-1,1),test_feature),axis=1 )
#求得測試集**標籤
predict = new_test @ theta
return predict
注意,使用最小二乘法求的數值解時,需要特別注意矩陣是否可逆,若不可逆,則可考慮新增正則化項。 7 線性回歸之多元線性回歸
當自變數有多個時,回歸模型就變成了 多元回歸方程變為 估計多元回歸方程變為 估計方法 多元回歸的求解比簡單線性回歸複雜但是思路是相同的,運用最小二乘法進行相應的求解,這裡不再進行展開。問題 如故乙個運輸任務是跑102英里,運輸了6次,預計多少小時?from numpy import genfromt...
機器學習之多元線性回歸
多元線性回歸概念 在回歸分析中,如果有兩個或兩個以上的自變數,就稱為多元回歸。社會經濟現象的變化往往受到多個因素的影響,例如,家庭消費支出,除了受家庭可支配收入的影響外,還受諸如家庭所有的財富 物價水平 金融機構存款利息等多種因素的影響。因此,一般要進行多元回歸分析,我們把包括兩個或兩個以上自變數的...
多元線性回歸演算法
在簡單的線性回歸演算法基礎上,若x代表的不是乙個單一的數值,而是乙個向量,下面給出張ppt圖 如圖所示,在多元線性回歸演算法中,x已成了乙個向量,自然y的表示式已經不再是之前簡單的一元二次方程,而我們所需要求得的 誤差也如下所示 同簡單線性回歸一樣,只不過就是一維運算換成了向量運算。為了使得損失函式...