下圖是bagging思想
個體學習器，就是弱學習器。
bagging的個體學習器可以是svm,可以是神經網路。
但隨機森林特殊在它的個體學習器都是決策樹
bagging的策略如下：
skelearn中的bagging
base_estimator可以指定為神經網路、svm都可以。當然預設是決策樹。
袋外樣本是因為通過隨機抽取，最終是會有30%的資料沒有抽取到的。
sklearn中bagging常用引數：
分類任務選classifier，回歸任務選regressor
sklearn中隨機森林常用引數：（bagging框架引數）
一般推薦袋外選true，這樣可以測試會不會出現過擬合的情況（即適合測試樣本的模型，但用其他樣本測試就不再適合的情況）
sklearn中隨機森林常用引數：（決策樹引數）
這些都是決策樹的引數。
還是上面這句話：randomforestclassifiler是分類任務/randomforestregressor是回歸任務
**新手不要把線性可分和回歸**搞混在一起。這兩個不是乙個東西。 **
回歸**不需要你是否線性可分。
隨機森林入門筆記
參考 1.如果說決策樹是一棵樹，那麼隨機森林就是多棵決策樹，隨機森林的出現其實就是對決策樹的補充和優化。2.假如有一堆資料，原來是通過乙個決策樹來建立模型做分類，現在是把這堆資料再分成k個資料堆，建立k個決策樹也就是k個模型，假如現在來了個測試資料，我讓他在每個模型上都跑一遍得出k種結果，選擇結果出...
學習筆記 隨機森林
準確地說，隨機森林的工作原理如下 從資料集 表 中隨機選擇k個特徵 列 共m個特徵 其中k小於等於m 然後根據這k個特徵建立決策樹。重複n次，這k個特性經過不同隨機組合建立起來n棵決策樹 或者是資料的不同隨機樣本，稱為自助法樣本 對每個決策樹都傳遞隨機變數來 結果。儲存所有 的結果 目標 你就可以從...
機器學習筆記 隨機森林
隨機森林是典型的bagging整合演算法，它的所有基評估器都是決策樹。分類樹整合的森林叫隨機森林分類器，回歸樹整合的森林叫隨機森林回歸器。重要引數 max depth 限制樹的最大深度，超過設定深度的樹枝全部剪掉。min samples leaf 限定，乙個節點在分枝後的每個子節點都必須包含至少mi...