整合學習----將若干個弱分類器通過一定的策略組合之後產生乙個強分類器
分類：bagging(裝袋） boosting()
有放回的隨機抽樣，弱分類器上有的被選擇有的沒有。
例項：隨機森林（在bagging的樣本隨機取樣基礎上，又加上了特徵的隨機選擇）
乙個迭代的過程，把弱分類器聚集到很難分類的樣本上，給每乙個訓練樣本賦予乙個權重，在每一輪結束時自動的調整權重
例項：adaboost、gbdt、xgboost演算法
平均法投票法（相對多數投票法：少數服從多數、絕對多數投票法：票數過半+少數服從多數、加權投票法）
學習法：使用stacking結合策略
在訓練集上訓練出乙個弱分類器，並計算分類器的錯誤率
為當前分類器賦予權重值alpha
AdaBoost元演算法與提公升樹
1.1 強學習與弱學習 提公升方法的思想是，對於乙個複雜任務，多個專家綜合的判斷所得出的結果要比乙個專家號，即三個臭皮匠賽過諸葛亮的道理。弱學習演算法是指學習的正確率比隨機猜測略好，強學習演算法不僅可以學習，還能得到很高正確率。經學者證明，強可學習和弱可學習是等價的，即同時成立。所以我們的目標是找到...
機器學習演算法6 AdaBoost元演算法
一.什麼是元演算法 meta algorithm 元演算法就是對其他演算法進行組合的一種方式。也稱為整合演算法 ensemble method 例如bagging方法和boosting 方 法。它可以是不同演算法的整合 也 可以是同一演算法在不同設定下的整合 還可以是資料集不同部分分配給不同分類 器...
機器學習實戰之AdaBoost元演算法
今天學習的機器學習演算法不是乙個單獨的演算法，我們稱之為元演算法或整合演算法 ensemble 其實就是對其他演算法進行組合的一種方式。俗話說的好 三個臭皮匠，賽過諸葛亮 整合演算法有多種形式 對同一資料集，使用多個演算法，通過投票或者平均等方法獲得最後的 模型 同一演算法在不同設定下的整合 同一演...