在第五周週報中,我認為我很難再通過資料的處理,提高模型的訓練水平,因此,我決定通過調整模型的引數,來提高我的模型,在上一周中,我學習了貝葉斯調參的方法,並且將其運用到了我的模型中,取得了不錯的成果。
相對於一些其他的調參方法,例如網格搜尋,網格搜尋通過遍歷所有的引數組合,從而得出最優的結果,但是,對於本次比賽資料量較多的情況下,網格搜尋的耗時相當長,而貝葉斯調參通過基於目標函式的過去評估結果建立替代函式,來找到最小化目標函式的值。它在嘗試下一組引數時,會參考之前的評估結果。因此貝葉斯調參的速度也較快。
我採用的是python中的bayesianoptimization
具體步驟為:
定義優化函式,我通過定義乙個函式,接受lightgbm模型中的相關引數,進行lightgbm模型的訓練,然後返回相關的auc值。
確定引數的範圍,用於初始化bayesianoptimization
呼叫maximize,進行調參,搜尋最優引數
利用優化好的引數進行訓練,模型訓練時間大大縮短,並且成績上也有了很大的提高:
資料探勘第六周週報
w np.ones cols initial all weight with 1 count 0 while true count 1 iscompleted true for i in range 0,length x dataset i print x print x y np.dot w,x ...
高階實訓第六周週報
如上週週報所述,本週在之前的資料與處理和特徵工程的基礎上,用更複雜的模型代替knn和決策樹,並觀察分類效能的提公升。主要選用的是xgboost和隨機森林兩個模型,理論部分在上週的週報中有提及,本次主要說明實際調參情況及結果分析。使用xgboost模型獲得的最好結果如下 相比兩周前用決策樹做到的0.6...
第六周工作週報銷售 知新週報 第六周
知新週報 一周會議彙總 10月8日中午十二點半,生活委員大會在十教附一104順利展開。會議上,勤工助學部的部長和其三位副部長分別強調了生活委員近期工作的重點,還講解了接下來一年生活委員的工作任務。10月8日下午2 30,我院在八教2 3召開了第37期入黨積極分子開學典禮,出席此次開學典禮的嘉賓有黨校...