整合學習：多個弱分類器組合成乙個強分類器。
1.adaboost：通過改變訓練樣本的權重（初始時權重相同，每次將前乙個分類器分類錯誤的那些樣本的權重增加，表現在分類誤差率的計算上），反覆訓練多個弱分類器，最後根據這些弱分類器的分類誤差率（權重）將他們線性組合到一起。其中分類誤差率越大權重越小。
等價於損失函式為指數損失時的前向分布演算法。
優點：2.bagging：重複有放回的從訓練樣本中抽樣，抽出n組樣本，針對每組樣本訓練出乙個分類器，最後用投票法進行分類。
隨機森林（random forest）：樹模型作為基分類器，每次進行特徵選擇的時候，隨機選取特徵集合的乙個子集來訓練樹模型，可以用來防止過擬合。
gbrt（gbdt）：在loss不是平方損失或者指數損失的時候，殘差不好擬合，此時用loss函式的一階導數近似殘差。
缺點：序列、計算複雜度高、不適合高維
xgboost：還支援線性分類器。在loss函式中加入了懲罰項（包括了葉子結點的個數和每個葉子節點輸出得分l2範數的的平方和，控制模型複雜度）；近似殘差的時候使用了損失函式的taylor展開的前兩項（求出解析解作為gain），也就是說用到了二階導數的資訊（可以自定義loss，只要二階可導即可）。在對樹模型的訓練中借鑑了隨機森林的思想，支援列抽樣，減少計算，降低過擬合；在特徵選擇的過程中可以並行化計算資訊增益處理。
lightgbm：直方圖演算法，分布式訓練方法，速度更快、記憶體消耗低。
機器學習常見演算法概述
原創 2016 08 22 14 34 28 雪倫 閱讀數 4813 更多分類專欄 機器學習 機器學習 機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或...
機器學習演算法之整合學習
在機器學習問題中，對於乙個複雜的任務來說，能否將很多的機器學習演算法組合在一起，這樣計算出來的結果會不會比使用單一的演算法效能更好？這樣的思路就是整合學習方法。三個臭皮匠，頂個諸葛亮。實際操作中，整合學習把大大小小的多種演算法融合在一起，共同協作來解決乙個問題。這些演算法可以是不同的演算法，也可以是...
機器學習演算法 整合學習 lightGBM
lightgbm 是整合學習的一種，是梯度提公升決策樹的高效實現。主要有幾方面優化 機器學習 lightgbm a highly efficient gradient boosting decision tree lightgbm 特性 features lightgbm 直方圖演算法用於搜尋特徵的...