task 5 模型融合
總結自《datawhale 零基礎入門資料探勘-task 5-模型融合》-ml67
1）stacking 是用初始訓練資料學習出若干個基學習器後，將這幾個學習器的**結果作為新的訓練集，來學習乙個新的學習器。。
2）結合策略：如何將個體學習器結合在一起使用的方法。分類可以使用投票法。回歸可以求平均值。（bagging策略常用方法）
3）個體學習器為初級學習器，用於結合的學習器為次級學習器或元學習器（meta-learner），次級學習器用於訓練的資料為次級訓練集。
4）stacking對於訓練集和測試集分布不一致情況存在缺點，問題在於用初始模型訓練的標籤再利用真實標籤進行再訓練會導致模型過擬合訓練集，這樣或許模型在測試集上的泛化能力或者說效果會有一定的下降，可以採用次級模型選擇盡可能簡單的線性模型，或者利用k折交叉驗證避免該問題。
5）投票法原理即為少數服從多數，包括軟投票和硬投票。軟投票相對於硬投票增設了權重。
1）blending，其主要思路是把原始的訓練集先分成兩部分，比如70%的資料作為新的訓練集，剩下30%的資料作為測試集。在第一層，在這70%的資料上訓練多個模型，然後去**那30%資料的label，同時也**test集的label。在第二層，我們就直接用這30%資料在第一層**的結果做為新特徵繼續訓練，然後用test集第一層**的label做特徵，用第二層訓練的模型做進一步**
2）比stacking簡單（因為不用進行k次的交叉驗證來獲得stacker feature）且避開了乙個資訊洩露問題：generlizers和stacker使用了不一樣的資料集。
3）使用了很少的資料，可能會過擬合。
1）模型融合可能源於整合思想，模型融合可以從三個方面進行融合，模型層面（比如堆疊設定）、特徵層面以及結果層面（比如加權等）。
2）整合思想要求整合的基學習器要多而不同，才能體現出整合的強泛化能力。因此，整合思想對於建模也是很重要的乙個環節。
1）本次在建模調參的基礎上，使用xgboost方法採用五折交叉驗證和stacking模型融合方法進行模型融合。
task5 模型融合
內容介紹 模型融合是比賽後期上分的重要手段，特別是多人組隊學習的比賽中，將不同隊友的模型進行融合，可能會收穫意想不到的效果哦，往往模型相差越大且模型表現都不錯的前提下，模型融合後結果會有大幅提公升，以下是模型融合的方式。平均 stacking 將若干基學習器獲得的 結果，將 結果作為新的訓練集來訓練...
Task5模型融合整理筆記
模型融合用於對多個模型進行融合以得到優於單個模型的效果。模型融合的方法主要有 回歸 算術平均融合，幾何平均融合 分類 投票融合 綜合 排序融合，融合 將多個模型得到的 結果concate之後再次進行模型 def weighted method test pre1,test pre2,w 1 2,1 ...
金融風控 Task5 模型融合
模型融合是比賽後期上分的重要手段，特別是多人組隊學習的比賽中，將不同隊友的模型進行融合，可能會收穫意想不到的效果哦，往往模型相差越大且模型表現都不錯的前提下，模型融合後結果會有大幅提公升，以下是模型融合的方式。平均 a.簡單平均法 b.加權平均法 投票 a.簡單投票法 b.加權投票法 綜合 a.排序...