構建並結合多個學習器來完成學習任務，有時也被稱為多分類器系統（multi-classifier system）、基於委員會的學習（cjommottee-based learning）
根據個體學習器的生成方式分為：
個體學習器間存在強依賴關係、必須序列生成的序列方法。如：boosting
個體學習器間不存在強依賴關係、可同時生成的並行化方法。如：bagging 和隨機森林（rasdom forest）
通常由乙個現有的學習演算法從訓練資料產生如：c4.5決策樹演算法、bp神經網路
投票法（分類任務）
絕大多數投票法
即如某標記得票過半數，則**為該標記，否則拒絕**
相對多少投票法
即**為得票最多的標記，若同時有多個標記獲得最高票，則從中隨機選擇乙個
加權投票法
學習法
當訓練資料很多時，一種更為強大的結合策略是使用「學習法」，即通過另乙個學習器來進行結合。stacking是學習法的典型代表。我們將個體學習器稱為初級學習器，結合學習器稱為次級學習器
class sklearn.ensemble.randomforestclassifier
（ n_estimators=10,
criterion='gini',
max_depth=none,
min_samples_split=2,
min_samples_leaf=1,
min_weight_fraction_leaf=0.0,
max_features='auto',
max_leaf_nodes=none,
min_impurity_decrease=0.0,
min_impurity_split=none,
bootstrap=true,
oob_score=false,
n_jobs=1,
random_state=none,
verbose=0,
warm_start=false,
class_weight=none
)
隨機森林演算法梳理
整合學習通過構建並結合多個學習器來完成學習任務。即先產生一組個體學習器，再用某種策略將它們結合起來。整合學習通過將多個學習器進行結合，常可獲得比單一學習器顯著優越的泛化效能。根據個體學習器的生成方式，目前整合學習方法大致可分為兩大類 即個體學習器間存在強依賴關係 必須序列化生成的序列化方法，以及個體...
隨機森林演算法梳理
隨機森林演算法梳理 整合學習，由多個基學習器組成，核心在於各學習器的多樣性和準確性。大致分為blending bagging boosting。bagging演算法是通過bootstrap重取樣生成了多棵決策樹，然後根據投票 分類 或求平均 回歸 來給出最終輸出值，側重於減小方差 如果xi方差為xi...
隨機森林演算法梳理
1.整合學習的概念 整合學習通過構建並結合多個學習器來完成學習任務，有時也被成為多分類器系統，基於委員會的學習。整合學習是通過將多個學習器進行結合，常可獲得比單一學習器顯著優越的泛化的效能。如何去提高整合學習的效能，最好是個體學習器應該 好而不同 即個體學習器要有一定準確性，不能太壞，也不能太好。否...