是將若干個學習器(分類器&回歸器)組合之後產生乙個新學習器。弱分類器(weak learner)指那些分類準確率只稍微好於隨機猜測的分類器(errorrate < 0.5)。
整合演算法的成功在於保證弱分類器的多樣性(diversity)。而且整合不穩定的演算法也能夠得到乙個比較明顯的效能提公升。
常見的整合學習思想有：bagging、boosting、stacking
為什麼需要整合學習
弱分類器間存在一定的差異性，這會導致分類的邊界不同，也就是說可能存在錯誤。那麼將多個弱分類器合併後，就可以得到更加合理的邊界，減少整體的錯誤率，實現更好的效果；
對於資料集過大或者過小，可以分別進行劃分和有放回的操作產生不同的資料子集，然後使用資料子集訓練不同的分類器，最終再合併成為乙個大的分類器；
如果資料的劃分邊界過於複雜，使用線性模型很
機器學習第16章（強化學習）
策略的優劣取決於長期執行這一策略後所得到的累積獎賞，在強化學習任務中，學習的目的就是要找到能使長期累積獎賞最大化的策略。強化學習從某種意義上可以看做具有 延遲標記資訊 的監督學習問題。僅探索法能很好的估計每個搖臂的獎賞，卻會失去很多選擇最優搖臂的機會 僅利用法沒有很好地估計搖臂期望獎賞，很可能經常選...
機器學習筆記16 GBDT演算法
前面一節我們提到了adaboost演算法，adaboost演算法可以解決分類問題，通過計算模型每次更新後的誤差率，對資料和模型的權重alpha進行更新。但對於回歸問題，我們就需要使用提公升樹 梯度提公升樹演算法。梯度提公升樹與提公升樹的區別在於，提公升樹採用殘差，而梯度提公升樹採取擬合當前模型損失函...
機器學習基礎 math（16） 各種乘積
按元素乘法有時候被稱為hadamard 乘積，或者schur 乘積 訊號與系統等學科中的 卷積操作的本質，神經網路中的卷積就是乘累加 訊號處理中的卷積就是加權疊加。具體點，平移 無反褶 疊加。可以看到卷積的重要的物理意義是 乙個函式 如 單位響應 在另乙個函式 如 輸入訊號 上的加權疊加。樓主這種做...