最近在做整合學習的時候，對adaboost非常感興趣，就自己復現了這個程式。
首先提公升方法是基於這樣的乙個思想：對於乙個複雜的任務來說，通將多個專家的判斷進行適當的綜合所得到的判斷，這樣得到的結果會比單個專家的判斷要好。
adaboost做法的核心問題adaboost演算法流程：
假設給定乙個二分類的訓練資料集
在這裡x 代表輸入的樣例，y代表樣例所屬的類別空間。
在這裡，adaboost輸入的是帶標籤的樣例空間，輸出的是最終的學習器。
（1） 初始化訓練資料的權值分布。
（2）對於m（代表分類器的個數）個分類器，分別使用帶權值分布的資料進行訓練，在這裡很多人在程式設計序的時候忘記把輸入帶權值的資料，而是一直用的是原始資料作為乙個輸入。那麼第一次訓練之後得到乙個基分類器gm(x)
（a） 計算在gm(x)上的分類錯誤率（這裡注意分類錯誤率指的是被分類器分類錯誤的樣本前面權值相加的和，不是分類錯誤樣本比總樣本，這裡格外需要注意）
（b）計算得到gm(x)的係數可以得到
（c）更新訓練資料的權值分布
（3）構建基分類器的線性組合。
最終的分類器是
AdaBoost演算法講解 舉例
adaboost演算法的目標是提高 學習演算法 比如說lms演算法 的 分類準確率。adaboost演算法提供的是框架 可以使用各種學習方法構建子分類器。二 演算法分析 步驟 根據訓練樣本設計乙個分類器，根據分類的結果，改變每個樣本的權重，產生乙個弱分類器，一直迭代，直到最後的誤差率小於給定的誤差率...
AdaBoost演算法講解 舉例
adaboost演算法的目標是提高 學習演算法 比如說lms演算法 的 分類準確率。adaboost演算法提供的是框架 可以使用各種學習方法構建子分類器。二 演算法分析 步驟 根據訓練樣本設計乙個分類器，根據分類的結果，改變每個樣本的權重，產生乙個弱分類器，一直迭代，直到最後的誤差率小於給定的誤差率...
EM演算法詳細講解
本文試圖用最簡單的例子 最淺顯的方式說明em expectation maximization 演算法的應用場景和使用方法，而略去公式的推導和收斂性的證明。以下內容翻譯自 data intensive text processing with mapreduce maximum likelihood...