sklearn儲存機器學習模型的幾種方式

from sklearn import svm

from sklearn import datasets
import pickle
from sklearn.externals import joblib
clf = svm.svc()
iris = datasets.load_iris()
x, y = iris.data, iris.target
clf.fit(x, y)
#方法一，使用dumps和loads,但沒有存入磁碟
# s = pickle.dumps(clf)
# clf2 = pickle.loads(s)
# print clf2.predict(x[0:1])
# 第二種方法
# dump和load 函式能乙個接著乙個地將幾個物件轉儲到同乙個檔案。隨後呼叫 load() 來以同樣的順序檢索這些物件
# output = open('d:\\***\\data.pkl', 'wb')
# input = open('d:\\***\\data.pkl', 'rb')
# s = pickle.dump(clf, output)
# output.close()
# clf2 = pickle.load(input)
# input.close()
# print clf2.predict(x[0:1])
# 第三種方法
# 使用joblib替換pickle，這對大資料更有效，但只能持久化到磁碟
joblib.dump(clf, 'd:\\***\\data.pkl')#也可以使用檔案物件
clf = joblib.load('d:\\***\\data.pkl')

機器學習 Sklearn 除錯模型

1 過擬合 處理過擬合的方法有 a 減少特徵，降低模型的複雜度 b 減小除錯引數 c 增加訓練資料量 常用的調參方法就是通過在懲罰函式中新增乙個正則化引數c來控制分類邊界對樣本的辨識度，如果是用權重的二次方，則是l2正則化，如果是 w c則是l1正則化。l2損失函式 x是訓練集，w權重矩陣，b是偏置...

機器學習模型儲存

在訓練完成機器學習模型後，經常將滿足需要的機器學習模型進行儲存，本文以svm演算法為例，講解模型儲存和呼叫的方法。joblib.dump 模型,模型命名 將訓練模型儲存起來如 from sklearn.svm import svc from sklearn.metrics import classi...

機器學習 模型儲存

目錄 pickle模組 sklearn joblib模組 hive分割槽表 在訓練模型後將模型儲存的方法，以免下次重複訓練。以及大資料裡直接將bi模型結果儲存在hive表裡。from sklearn import svm from sklearn import datasets import pic...