裝袋、提公升和隨機森林都是組合分類方法的例子。組合分類把k個學習得到的模型（或基分類器）m1、m2,...,mk組合在一起，旨在建立乙個改進的復合分類模型m*。
裝袋(bagging)
有放回的抽樣，訓練k個模型，然後對分類樣本進行投票表決。
提公升（boosting）
在提公升方法中，權重賦予每個訓練元組。迭代地學習k個分類器。學習得到分類器mi之後，更新權重，使得其後的分類器mi+1「更關注」mi誤分類的訓練元組。最後提公升的分類器m*組合每個個體分類器的表決，其中每個分類器投票的權重是其準確率的函式。
adaboost（adaptive boosting)是一種流行的提公升方法。假設我們想提公升某種學習方法的準確率。給定資料集d，它包含d個類標記的元組(x1,y1),(x2,y2),...,(xd,yd)，其中yi是元組xi的類標號。開始，adaboost對每個訓練元組賦予相等的權重1/d。為組合分類器產生k個基分類器需要執行演算法的其餘部分k輪。在第i輪中，從d中元組抽樣，形成大小為d的訓練集di。使用有放回抽樣-即同乙個元組可能被選中多次。每個元組被選中的機會由它的權重決定。從訓練樣di匯出分類器mi。然後使用di作為檢驗集計算mi的誤差。訓練元組的權重根據它們的分類情況調整。
如果元組不正確的分類，則它的權重增加。如果元組正確的分類，則它的權重減少。元組的權重反映對它們分類的困難程度-權重越高，越可能錯誤地分類。然後使用這些權重，為下一輪的分類器產生訓練樣本。其基本思想是，當建立分類器時，希望它更關注上一論誤分類的元組。某些分類器對某些「困難」元組分類可能比其他分類器好。這樣建立了乙個互補的分類器系列。
對每個被正確分類的元組權重調整為：
權重=權重*error(mi)/(1-error(mi))；使用組合分類器對元組x分類，各個分類器的權重為：
wi=log((1-error(mi)/error(mi));
機器學習 分類器組合 AdaBoost
adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器 弱分類器 然後把這些弱分類器集合起來，構成乙個更強的最終分類器 強分類器 adaboost其實只是boost的乙個特例。1.要訓練出多個弱分類器 圖中為3個 每個弱分類器由不同權重的樣本 圖中為5個訓練樣本 訓練得到 其...
機器學習 分類器組合 AdaBoost
adaboost是一種迭代演算法，其核心思想是針對同乙個訓練集訓練不同的分類器 弱分類器 然後把這些弱分類器集合起來，構成乙個更強的最終分類器 強分類器 adaboost其實只是boost的乙個特例。1.要訓練出多個弱分類器 圖中為3個 每個弱分類器由不同權重的樣本 圖中為5個訓練樣本 訓練得到 其...
CSS新增方法 選擇器分類 選擇器組合 樣式優先順序
選擇器分類 css選擇器組合語法 樣式表允許以多種方式規定樣式資訊。樣式可以規定在單個的 html 元素中，在 html 頁的頭元素中，或在乙個外部的 css 檔案中，甚至可以在 html 結構中設定樣式表。color red font size 20px hello world 當單個檔案需要特別...