lightGBM和XGBoost使用方法總結

2021-10-25 03:01:55 字數 1115 閱讀 7961

在python語言中lightgbm提供了兩種呼叫方式,分為為原生的api和scikit-learn api,兩種方式都可以完成訓練和驗證。當然原生的api更加靈活,看個人習慣來進行選擇。

1.直接import lightgbm as lgt 和import xgboost as xgb

這種方式在做訓練的時候需要把資料轉換成模型所能處理的格式,剛入手的人容易犯錯

lightgbm為dataset格式:

lgb_train = lgb.dataset(train_x, train_y, free_raw_data=false)

lgb_eval = lgb.dataset(test_x, test_y, reference=lgb_train,free_raw_data=false)

bst=lgb.cv(param,lgb_train, num_boost_round=1000, nfold=6, early_stopping_rounds=100)

xgboost為dmatrix格式

dtrain = xgb.dmatrix( train_x, label=train_y)

dtest = xgb.dmatrix( test_x, label=test_y)

bst = xgb.train( params, dtrain, num_round )

estimators = lgb.train(param,lgb_train,num_boost_round=len(bst[『auc-mean』]))

2.利用和sklearn類似包處理,較簡潔,與其他sklearn一樣的使用方法

如xgboost

clf = xgb.xgbclassifier(params)

clf.fit(x_train, y_train, early_stopping_rounds=10, eval_metric=「auc」,

eval_set=[(x_test, y_test)])

如lightgbm

estimator=lgb.lgbmregressor(n_estimators=100,boosting_type=『gbdt』, objective=『regression』)

estimator.fit(train_x, train_y)

MacOS編譯和安裝lightgbm

通過brew安裝cmake brew install cmake 安裝 gcc brew install gcc 當前版本是10.2.0 這樣之後brew會查詢最新的gcc版本進行安裝,安裝過程中要仔細觀察安裝的gcc版本,接下來會用到,很重要,如果沒注意安裝過程並且不小心關掉了終端的話可以到這個路...

LightGBM模型引入和原理介紹

如何減少資料量 常用的減少訓練資料量的方式是down sample。例如在 5 中,權重小於閾值的資料會被過濾掉,sgb在每一輪迭代中用隨機的子集訓練弱學習器 在 6 中,取樣率會在訓練過程中動態調整。但是,所有這些工作除了sgb外都是基於adaboost的,並且由於gbdt沒有資料例項的權重,所以...

機器學習 LightGBM

lightgbm light gradient boosting machine 是乙個基於決策樹演算法的快速的 分布式的 高效能 gradient boosting gbdt gbrt gbm 或 mart 框架,可被用於排行 分類以及其他許多機器學習任務中。gbdt 雖然是個強力的模型,但卻有著...