adaboost
1.簡述原理
2.例項
3.演算法流程和公式推導
4.優點和缺點
5.問題
adaboost
1.簡述原理
（形式+弱學習器學習方法+弱學習器權值）
adaboost就是加法模型+前向分步演算法+指數損失函式+任意基學習器演算法（boosting框架+指數損失函式+任意基學習器演算法）。是一種基於boost思想的一種自適應的迭代式演算法。他改變了訓練樣本的權重，關注錯誤分類樣本的權重，加大錯誤分類樣本的權重，減小正確分類樣本的權重，再用一些基本的機器學習演算法進行學習（如lr）。最後用投票表決的方法組合弱學習器，加大分類錯誤率低的弱學習器權重，減小分類錯誤率大的弱學習器權重。
2.例項
3.演算法流程和公式推導
4.優點和缺點
優點：具有較低的泛化誤差
可將不同的分類演算法作為弱分類器，可選c4.5，cart,svm,貝葉斯分類器作為弱分類器
adaboost作為分類器時，分類精度很高，簡單，
不用做特徵篩選;
不容易出現過擬合
缺點：對雜訊、異常值非常敏感
異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的**準確性
2）迭代次數（弱分類器數目）不好確定（可使用交叉驗證來確定）；
3）資料不平衡導致分類精度下降；
4）每次都要重新選擇當前分類器最好的切分點，訓練耗時；
adaboost問題
1.為什麼adaboost對雜訊敏感？
異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的**準確性
2. adaboost
的自適應在於？
最開始，所有的訓練樣本具有相同權重。被前乙個分類器分錯的樣本會被用於訓練下乙個分類器， 即提高這個分錯的樣本被選中進入下乙個弱分類器選中的概率， 分對的樣本被選中的概率會被降低。
機器學習 演算法 Adaboost
寫在前面 說到adaboost，公式與 網上到處都有，統計學習方法 裡面有詳細的公式原理，github上面有很多例項，那麼為什麼還要寫這篇文章呢？希望從一種更容易理解的角度，來為大家呈現adaboost演算法的很多關鍵的細節。基本原理 adaboost演算法基本原理就是將多個弱分類器 弱分類器一般選...
機器學習演算法 之Adaboost
統計學習方法 對adaboost演算法進行了相當精彩的介紹，尤其是後面證明adaboost演算法是前向分布加法演算法的特例，這就將adaboost演算法拉入到 統計學習 模型 策略 演算法這一框架中。1.模型 加法模型 adaboost演算法期望用一系列不同權重的基函式的和來構成最終的分類器。2.策...
機器學習 提公升方法AdaBoost演算法
機器學習 深度學習 nlp 搜尋推薦 等 索引目錄 adaboost演算法是提公升方法中具有代表性的一種演算法，本篇博文主要學習adaboost的演算法思想以及從前向分步加法模型的角度來解釋adaboost演算法。對於提公升方法來說，其基本思路是從弱學習演算法出發，反覆學習，得到一系列弱分類器 基分...