2、xgboost**考慮了訓練資料為稀疏值的情況，可以為缺失值或者指定的值指定分支的預設方向，這能大大提公升演算法的效率**，*****提到50倍。
特徵列排序後以塊的形式儲存在記憶體中，在迭代中可以重複使用；雖然boosting演算法迭代必須序列，但是在處理每個特徵列時可以做到並行。
按照特徵列方式儲存能優化尋找最佳的分割點，但是當以行計算梯度資料時會導致記憶體的不連續訪問，嚴重時會導致cache miss，降低演算法效率。*****中提到，可先將資料收集到執行緒內部的buffer，然後再計算，提高演算法的效率。
3、xgboost 還考慮了當資料量比較大，記憶體不夠時怎麼有效的使用磁碟，主要是結合多執行緒、資料壓縮、分片的方法，盡可能的提高演算法的效率。
1、都是由多棵樹組成
2、最終的結果都是由多棵樹一起決定
1、組成隨機森林的樹可以是分類樹，也可以是回歸樹；而gbdt只由回歸樹組成
2、組成隨機森林的樹可以並行生成；而gbdt只能是序列生成
3、對於最終的輸出結果而言，隨機森林採用多數投票等；而gbdt則是將所有結果累加起來，或者加權累加起來
4、隨機森林對異常值不敏感，gbdt對異常值非常敏感
5、隨機森林對訓練集一視同仁，gbdt是基於權值的弱分類器的整合
6、隨機森林是通過減少模型方差提高效能，gbdt是通過減少模型偏差提高效能
RF GBDT XGBOOST的區別與聯絡
gradient boosting gb 機器學習中的學習演算法的目標是為了優化或者說最小化loss function，gradient boosting的思想是迭代生多個 m個 弱的模型，然後將每個弱模型的 結果相加，後面的模型fm 1 x 基於前面學習模型的fm x 的效果生成的。gradien...
RF，GBDT ，XGBoost 特徵選擇方法
rf，gbdt，xgboost 都可以做特徵選擇，屬於特徵選擇中的嵌入式方法，比如在sklearn 中，可以用屬性feature importances 去查特徵的重要度。如何計算的 1 隨機森林 用袋外資料oob 做 隨機森林在每次重抽樣建立決策樹時，都會有一些樣本沒有被選中，那麼就可以用這些樣本...
記憶體的使用 棧區 堆區 靜態區 唯讀區
記憶體的使用感覺好亂啊，需要整理一下！於是參考c primer與網上資源，整理如下 一 綜述 記憶體中的棧區分配的是區域性變數和函式的引數值的空間，棧的生長方向是從高往低的 堆區是向上增長的用於分配程式設計師申請的記憶體空間 比如new 申請的動態記憶體 注意它與資料結構中的堆是兩回事，分配方式倒是...