嶺回歸與sklearn模型的儲存與載入

帶有正則化的線性回歸–嶺回歸

api:sklearn.linear_model.ridge

語法：

sklearn.linear_model.ridge(alpha=1.0)

具有l2正則化的線性最小二乘法

alpha:正則化力度

coef_:回歸係數

正則化程度的變化，對結果的影響：正則化力度越大，權重越接近於0

ridge優點：

嶺回歸得到的回歸係數更符合實際，更可靠。另外能讓估計引數的波動範圍變小，變的更穩定。在存在病態資料（異常資料）偏多的研究中有較大的實用價值。

案例–波士頓房價資料案例----接線性回歸分析

# 3.使用嶺回歸進行**

rd = ridge(alpha=1.0)
rd.fit(x_train, y_train)
print("嶺回歸求解方式回歸係數為：", rd.coef_)
y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
print("使用嶺回歸**的房子**：", y_rd_predict)
print("嶺回歸方式的均方誤差為：", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))

import joblib   

# 儲存---格式為pkl
joblib.dump(rd,'test.pkl')
# 載入
estimator = joblib.load('test.pkl')

嶺回歸與sklearn模型的儲存與載入

帶有正則化的線性回歸 嶺回歸api sklearn.linear model.ridge 語法 sklearn.linear model.ridge alpha 1.0 具有l2正則化的線性最小二乘法 alpha 正則化力度 coef 回歸係數 正則化程度的變化，對結果的影響 正則化力度越大，權重越...

sklearn之嶺回歸

嶺回歸 ridge regression 如果資料的特徵比樣本點還多，資料特徵n，樣本個數m，如果n m，則計算 xtx 的逆矩陣時會出錯，因為 xtx 不是滿秩矩陣，所以不可逆。注 xt表示x的轉置矩陣 嶺回歸是有偏估計 嶺回歸代價函式這裡就不貼了 選取 值使得 1.各回歸係數的嶺估計基本穩定 2...

sklearn嶺回歸應用

前言 前面博文關於線性回歸模型我們可以用梯度下降法或者標準方程法進行訓練，但是兩種方法各有優缺點。特別是標準方程法乙個比較重要的缺點是資料存在不可逆現象則無法訓練出結果，而嶺回歸就是解決標準方程法這一缺點出現的，嶺回歸模型是由帶正則化的代價函式推導得到，他避免資料不可逆的現象，進而得到近似最優解。關...