XGBoost學習筆記（三）

在xgb中，控制複雜度的引數γ

\gamma

γ，正則化引數α,λ

\alpha,\lambda

α,λ學習速率η

\eta

η都可以控制過擬合，但並非主要用於解決過擬合問題。

當得到乙個資料集之後，通常先通過網格搜尋找出合適的n_estimators和eta的組合，然後使用gamma或者max_depth觀察模型的擬合情況，最後決定是否剪枝。

可以通過以下**對xgb進行調參。

param1 =
num_round =
200time0 = time(
)cvresult1 = xgb.cv(param1, dfull, num_round)
print
(datetime.datetime.fromtimestamp(time(
)-time0)
.strftime(
"%m:%s:%f"))
fig,ax = plt.subplots(
1,figsize=(15
,8))
ax.set_ylim(top=5)
ax.grid(
)ax.plot(
range(1
,201
),cvresult1.iloc[:,
0],c="red"
,label=
"train,original"
)ax.plot(
range(1
,201
),cvresult1.iloc[:,
2],c="orange"
,label=
"test,original"
)param2 =
param3 =
time0 = time(
)cvresult2 = xgb.cv(param2, dfull, num_round)
print
(datetime.datetime.fromtimestamp(time(
)-time0)
.strftime(
"%m:%s:%f"))
time0 = time(
)cvresult3 = xgb.cv(param3, dfull, num_round)
print
(datetime.datetime.fromtimestamp(time(
)-time0)
.strftime(
"%m:%s:%f"))
ax.plot(
range(1
,201
),cvresult2.iloc[:,
0],c="green"
,label=
"train,last"
)ax.plot(
range(1
,201
),cvresult2.iloc[:,
2],c="blue"
,label=
"test,last"
)ax.plot(
range(1
,201
),cvresult3.iloc[:,
0],c="gray"
,label=
"train,this"
)ax.plot(
range(1
,201
),cvresult3.iloc[:,
2],c="pink"
,label=
"test,this"
)ax.legend(fontsize=
"xx-large"
)plt.show(
)

使用pickle儲存和呼叫模型

import pickle
dtrain = xgb.dmatrix(xtrain,ytrain)
#設定引數，對模型進行訓練
param =
num_round =
180bst = xgb.train(param, dtrain, num_round)

首先完成模型的訓練，然後進行模型的儲存

#儲存模型 pickle.dump(bst, open ("xgboostonboston.dat" ,"wb")) #注意，open中我們往往使用w或者r作為讀取的模式，但其實w與r只能用於文字檔案 - txt #當我們希望匯入的不是文字檔案，而是模型本身的時候，我們使用"wb"和"rb"作為讀取的模式 #其中wb表示以二進位制寫入，rb表示以二進位制讀入，使用open進行儲存的這個檔案中是乙個可以進行讀取或者呼叫的模型

可以檢視模型儲存的位址

#看看模型被儲存到了**？
import sys
sys.path

執行結果的第一行是當前執行的資料夾

然後可以在下次開啟檔案時開啟模型：

#匯入模型
loaded_model = pickle.load(
open
("xgboostonboston.dat"
,"rb"))
print
("loaded model from: xgboostonboston.dat"
)

使用joblib儲存和呼叫模型

使用方法與pickle類似，

import joblib
#同樣可以看看模型被儲存到了**
joblib.dump(bst,
"xgboost-boston.dat"
)

注意這裡不用使用open開啟檔案。

loaded_model = joblib.load(
"xgboost-boston.dat"
)

同樣可以匯入模型。

可以使用scale_pos_weight引數對正負樣本的比例進行控制。

XGBoost學習筆記（三）

XGBoost學習筆記（3）

XGBoost演算法學習筆記

XGBoost 學習過程

XGBoost學習筆記（三）

XGBoost學習筆記（3）

XGBoost演算法 學習筆記

XGBoost 學習過程

相關推薦

XGBoost演算法學習筆記