整合學習方法是指組合多個模型，以獲得更好的效果，即將多個弱學習器組合成乙個強學習器，使整合的模型具有更強的泛化能力。
整合學習主要有兩種方法：bagging和boosting。
bagging方法是從原始的資料集中進行有放回的隨機抽樣，每次訓練從原始樣本中有放回的隨機抽取n個樣本，因為是有放回，所以某些訓練樣本在某次的訓練集中可能出現多次或者根本不出現。這樣重複m次就會訓練出m個模型，如果是分類問題，則m個模型採用投票方法，投票最多的為最終分類；如果是回歸問題，則對m個模型的結果取平均值。
adaboost演算法對於分類問題的步驟：
初始化時對每個訓練樣本賦予相等的權重
每次訓練後，對**錯誤的訓練樣本賦予更大的權重
訓練n次後得到n個訓練模型，每個模型的**結果有不同的權重，準確率高的模型的**結果權重較大
n個模型的**結果（y∈
\in∈）進行加權求和得到最終結果
adaboost涉及到的兩個權重：
from sklearn.ensemble import adaboostclassifier
from sklearn.tree import decisiontreeclassifier
'''base_estimator: 弱學習器使用的模型
n_estimators: 使用的弱學習器的最大數量
'''model = adaboostclassifier(base_estimator = decisiontreeclassifier(max_depth=2)
, n_estimators =4)
model.fit(x_train, y_train)
整合學習方法綜述
整合學習即essemble技術，將單個學習器通過一定規則聯合，提高學習器的整體表現。當所有單個學習器都是同一型別時，即是同質的，每個學習器成為基學習器 當單個學習器不同時，則稱為異質的，不存在基學習器的說法。當學習器之間強關聯，存在一定的依賴關係，表現為序列，這類演算法的代表為boosting，其中...
整合學習方法 未完待續
簡單說，就是通過適當的方式整合許多 個體 模型所得到的最終模型要比單獨的 單獨模型 的效能更優 dropout可以作為訓練深度神經網路的一種技巧。在每個訓練批次中，通過隨機讓一部分的節點停止工作。同時在 的過程中讓所有的節點都其作用 測試集資料擴增 test time augmentation，簡稱...
整合學習方法之隨機森林
整合學習通過建立幾個模型組合的來解決單一 問題。它的工作原理是生成多個分類器 模型，各自獨立地學習和作出 這些 最後結合成組合 因此優於任何乙個單分類的做出 在機器學習中，隨機森林是乙個包含多個決策樹的分類器，並且其輸出的類別是由個別樹輸出的類別的眾數而定。例如,如果你訓練了5個樹,其中有4個樹的結...