參考
1.如果說決策樹是一棵樹，那麼隨機森林就是多棵決策樹，隨機森林的出現其實就是對決策樹的補充和優化。
2.假如有一堆資料，原來是通過乙個決策樹來建立模型做分類，現在是把這堆資料再分成k個資料堆，建立k個決策樹也就是k個模型，假如現在來了個測試資料，我讓他在每個模型上都跑一遍得出k種結果，選擇結果出現的頻率比較高的結果作為最終結果。
3.bootstrap抽樣（自助法）
想要知道池塘裡面魚的數量，可以先抽取n條魚，做上記號，放回池塘。
進行重複抽樣，抽取m次，每次抽取n條，考察每次抽到的魚當中有記號的比例，綜合m次的比例，在進行統計量的計算。
4.不同的決策樹，他們的不同點在什麼地方？
還記得決策樹建模的方法嗎？你要認識到通過不同資料集所確定的最佳分割點是不同的，所以只要最佳分割點是不同的，那麼決策樹就是不同的。
隨機森林筆記
下圖是bagging思想 個體學習器，就是弱學習器。bagging的個體學習器可以是svm,可以是神經網路。但隨機森林特殊在它的個體學習器都是決策樹 bagging的策略如下 skelearn中的bagging base estimator可以指定為神經網路 svm都可以。當然預設是決策樹。袋外樣本...
學習筆記 隨機森林
準確地說，隨機森林的工作原理如下 從資料集 表 中隨機選擇k個特徵 列 共m個特徵 其中k小於等於m 然後根據這k個特徵建立決策樹。重複n次，這k個特性經過不同隨機組合建立起來n棵決策樹 或者是資料的不同隨機樣本，稱為自助法樣本 對每個決策樹都傳遞隨機變數來 結果。儲存所有 的結果 目標 你就可以從...
機器學習筆記 隨機森林
隨機森林是典型的bagging整合演算法，它的所有基評估器都是決策樹。分類樹整合的森林叫隨機森林分類器，回歸樹整合的森林叫隨機森林回歸器。重要引數 max depth 限制樹的最大深度，超過設定深度的樹枝全部剪掉。min samples leaf 限定，乙個節點在分枝後的每個子節點都必須包含至少mi...