機器學習之AdaBoost

adaboost是一種組合學習的提公升演算法，能將多個弱學習演算法（甚至只比隨機猜測好一點）組合起來，構成乙個足夠強大的學習模型。

組合學習是將多個假說組合起來，並整合它們的**。比如對於乙個問題，我們可以生成20棵決策樹，讓它們對新樣例的分類進行**，最後通過投票決定最終的**。這樣可以有效的降低錯誤率。

提公升是一種廣泛使用的組合學習。首先解釋加權訓練集的概念。在這樣的訓練集中，每個樣例都有乙個權重w（不小於0）來表示乙個樣例的重要程度。提公升演算法開始於所有樣例的權重均為1，從這樣的訓練集中產生了第乙個假說h1，這個假說也許會對一些測試樣例進行錯誤的分類，於是我們把這些樣例挑選出來並增加它們的權重，然後把修改後的訓練集提供給下乙個假說h2進行訓練。直到k個假說都產生之後，我們輸出乙個組合假說，它是這k個假說的加權多數函式，某個假說的權重大小取決於它在訓練集上的表現。

例如下圖所示，我們通過增加被錯誤分類的樣例的權重，可以使得下乙個弱學習演算法在錯誤分類樣例上表現得更好。

機器學習之AdaBoost

機器學習之adaboost adaboost是一種組合學習的提公升演算法，能將多個弱學習演算法 甚至只比隨機猜測好一點 組合起來，構成乙個足夠強大的學習模型。組合學習是將多個假說組合起來，並整合它們的 比如對於乙個問題，我們可以生成20棵決策樹，讓它們對新樣例的分類進行 最後通過投票決定最終的 這樣...

機器學習之AdaBoost

adaptive boosting 自適應增強 是一種迭代演算法，它的主要思想是 每次迭代調整樣本的權重，並用更新過權重值的資料集訓練下乙個弱學習器，直到達到某個預定的足夠小的錯誤率 或者達到指定的最大迭代次數之後，將各個弱學習器加權組合為最終的強學習器。該演算法每次迭代改變的是樣本的權重 re w...

機器學習演算法 之Adaboost

統計學習方法 對adaboost演算法進行了相當精彩的介紹，尤其是後面證明adaboost演算法是前向分布加法演算法的特例，這就將adaboost演算法拉入到 統計學習 模型 策略 演算法這一框架中。1.模型 加法模型 adaboost演算法期望用一系列不同權重的基函式的和來構成最終的分類器。2.策...