joblib描述
joblib是一組用於在python中提供輕量級流水線的工具。
特點:
·透明的磁碟快取功能和懶惰的重新評估(memoize模式)
·簡單的平行計算
joblib可以將模型儲存到磁碟並可在必要時重新執行:
**實現
#載入模組
from sklearn.datasets import load_iris
import joblib
from sklearn.linear_model import linearregression
from sklearn.model_selection import train_test_split
#分割資料集
data = load_iris()
x = data.data
y = data.target
train_x,test_x,train_y,test_y = train_test_split(x,y,test_size=0.3,random_state=2)
#訓練模型
lr = linearregression()
lr.fit(train_x,train_y)
#將訓練的模型儲存到磁碟(value=模型名) 預設當前資料夾下
joblib.dump(filename='lr.model',value=lr)
model1 = joblib.load(filename="lr.model")
#對本地模型進行**
print(model1.predict(test_x))
print(model1.score(test_x,test_y))
# 重新設定模型引數並訓練
model1.set_params(normalize=true).fit(train_x,train_y)
#新模型做**
print(model1.predict(test_x))
print(model1.score(test_x,test_y))
結果展示
[ 0.07145264 0.04505404 1.84184516 -0.07019985 0.10904718 1.55642666
0.00756981 1.76705607 1.93446083 0.04750114 -0.08284245 0.02393156
-0.10020463 0.06575346 1.40825647 1.30655593 0.08622949 1.2143428
2.1355411 1.20423688 1.49045338 1.12550814 1.96582271 1.23513179
1.18095234 0.05231031 -0.02521556 1.62175616 0.1687878 1.72140494
1.58393845 0.18697094 1.07567344 2.04256887 1.45651346 -0.24889011
1.99331133 1.30882831 1.2086435 1.83443025 1.36042253 1.15827289
2.05534495 0.9331102 0.03152131]
0.9286086986856661
[ 0.07145264 0.04505404 1.84184516 -0.07019985 0.10904718 1.55642666
0.00756981 1.76705607 1.93446083 0.04750114 -0.08284245 0.02393156
-0.10020463 0.06575346 1.40825647 1.30655593 0.08622949 1.2143428
2.1355411 1.20423688 1.49045338 1.12550814 1.96582271 1.23513179
1.18095234 0.05231031 -0.02521556 1.62175616 0.1687878 1.72140494
1.58393845 0.18697094 1.07567344 2.04256887 1.45651346 -0.24889011
1.99331133 1.30882831 1.2086435 1.83443025 1.36042253 1.15827289
2.05534495 0.9331102 0.03152131]
0.9286086986856662
機器回歸 儲存模型,載入模型,邏輯回歸
from sklearn.externals import joblib 1.儲存jobib.dump rf,test.plk sgd sgdregressor sgd.fit x train,y train print sgd.coef 儲存訓練好的模型 joblib.dump sgd,tmp t...
機器學習模型儲存
在訓練完成機器學習模型後,經常將滿足需要的機器學習模型進行儲存,本文以svm演算法為例,講解模型儲存和呼叫的方法。joblib.dump 模型,模型命名 將訓練模型儲存起來如 from sklearn.svm import svc from sklearn.metrics import classi...
機器學習 模型儲存
目錄 pickle模組 sklearn joblib模組 hive分割槽表 在訓練模型後將模型儲存的方法,以免下次重複訓練。以及大資料裡直接將bi模型結果儲存在hive表裡。from sklearn import svm from sklearn import datasets import pic...