1、什麼時候用整合學習？
整合學習有利於減少模型方差，因此當模型複雜度複雜度太高時可以用整合學習方法
參加kaggle等比賽的時候
2、bagging和boosting的基學習器有一樣的特點？
bagging的基學習器更強一些，它們學習的物件都是目標任務，最終的**模型是直接拿子模型的決策結果投票或者做平均；boosting的基學習器更弱一些，可以說是非常弱，它們學習的都只是目標任務的一部分（可以這麼理解），即使自己的任務學習的很好，看起來也很弱，所以這種弱是相對整體學習任務而言的。
3、adaboost演算法
為了把樣本權重更新公式簡化成乙個，用at替換掉dt。
dt的推導：
乙個小例子：
按照前面所述，這裡的d貌似沒有必要計算；而且，這裡貌似用a同時作為樣本和子模型的權重更新乘子。應該用a作為子模型的權重更新乘子，同時，對某個樣本而言，其權重
更新公式為：
當樣本被正確分類時
當樣本被誤分類時
或者合併為
d表示所有樣本的權重構成的向量。
4、為啥訓練錯誤率已經為0了測試錯誤率還在下降？
因為margin在增大，這使得模型越來越魯棒
機器學習實戰筆記 整合學習
整合學習分為兩類 個體學習器間存在強依賴關係，必須序列生成的序列方法 boosting 個體學習器之間不存在強一賴關係，可同時生成的並行方法 bagging和隨機森林 boosting adaboost演算法 採用指數損失函式，yi f是真實函式。adaboost的一般流程 收集資料 準備資料 依賴...
機器學習 整合學習
1.理解什麼是整合學習 所謂 整合 是指同時構建多個學習器，這裡的學習器主要針對弱學習器。2.弱學習器主要是指泛化能力略優於隨機猜測的學習器，弱的相結合會得到更好的泛化能力。三個臭皮匠嘛！3那麼這些弱的摻雜起來為什麼會得到好的呢？主要思想就是投票法。所以呀我們要得到好的整合效果，必須要求個體學習器要...
機器學習 整合學習
一。概括 整合學習 ensemble learning 本身不是乙個單獨的機器學習演算法，而是通過構建並結合多個機器學習器來完成學習任務。可以用於分類問題整合 回歸問題整合 特徵選取整合 異常點檢測整合等等，可以說所有的機器學習領域都可以看到整合學習的身影。整合學習思想 對於訓練集資料，通過訓練若干...