bagging
bagging的策略:
（1）從樣本集中重取樣（有重複的）選出n個樣本；
（2）在所有屬性上，對這n個樣本建立分類器（id3、c4.5、c&rt、svm、logistic回歸等）；
（3）重複以上兩步m次，即獲得了m個分類器；
（4）將資料放在這m個分類器上，最後根據這m個分類器的投票結果，決定資料屬於哪一類。
隨機森林
隨機森林在bagging基礎上做了修改。基本思路是：
（1）從樣本集中用bootstrap取樣選出n個樣本（重取樣）；
（2）從所有屬性中隨機選擇k個屬性，選擇最佳分割屬性作為節點建立c&rt決策樹；
（3）重複以上兩步m次，即建立了m棵c&rt決策樹
（4）這m個c&rt形成隨機森林，通過投票表決結果，決定資料屬於哪一類
隨機森林/bagging和決策樹的關係
當然可以使用決策樹作為基本分類器，但也可以使用svm、logistic回歸等其它分類器，習慣上，這些分類器組成的「總分類器」，仍然叫做隨機森林。
另外，回歸問題，其實可以使用bagging策略，擬合變化曲線。
演算法過程：①做n次bootstrap，每次得到的資料di，di的長度為n；②對於每乙個di，使用區域性回歸擬合一條曲線；③將這些曲線取平均，即得到最終的擬合曲線；④顯然，最終的擬合曲線更加穩定，並且可以避免過擬合現象。
演算法之排列與組合演算法
1.前言 本文介紹了常用的排列組合演算法，包括全排列演算法，全組合演算法，m個數選n個組合演算法等。2.排列演算法 常見的排列演算法有 a 字典序法 b 遞增進製數法 c 遞減進製數法 d 鄰位對換法 e 遞迴法 介紹常用的兩種 1 字典序法 對給定的字符集中的字元規定了乙個先後關係，在此基礎上按照...
組合演算法實現
組合 乙個集的元素的組合是乙個子集。s的乙個k 組合是s的乙個有k個元素的子集。組合具有無序性。若兩個子集的元素完全相同僅順序不同，看作同乙個組合。組合符號 這裡介紹4中常見的組合形式 1.完全組合。2.不重複完全組合。3.選擇組合。4.有重複選擇組合。1.完全組合 從n元素集s中取出所有的k個元素...
遞迴組合演算法
遞迴組合演算法 演算法思想 對於乙個長度為m的序列，要求n個數的組合。1.從索引最小的元素遍歷到第n m個元素，將遍歷到的元素定為組合中的第乙個元素 2.判斷組合中n個元素是否已滿，如果滿了，列印該組合，如果不滿重，則擷取1中選擇的元素之後的序列，復步驟一。include include using...