一般地說，adaboost中每個弱分類器都是單層決策樹。
基本思想如下：
第一步使得所有樣本點等權重，尋找最優的判定閾值θ
1\theta_1
θ1和分類方法（方向，也即大於該閾值為+1還是小於該閾值為+1）。在該單層決策樹下得到誤差ϵ
1\epsilon_1
ϵ1。使用ϵ
1\epsilon_1
ϵ1可以計算出該分類器在最後所有分類器加權時的權重：α1=
12∗l
og(1
−ϵ1ϵ
1)
\alpha_1= \frac *log(\frac )
α1=21
∗lo
g(ϵ1
1−ϵ
1)
。接下來迭代資料權重，用第 i
ii 輪表示。針對單個樣本點x
xx而言：ωi=
ωi−1
∗e−α
i−1h
i−1(
x)yi
/∑xω
i−1∗
e−αi
−1hi
−1(x
)y
i\omega_i=\omega_*e^h_(x)y_i} /\sum_x \omega_*e^h_(x)y_ }
ωi=ωi
−1∗
e−αi
−1h
i−1
(x)y
i/∑
xωi
−1∗
e−αi
−1h
i−1
(x)y
i,除以該分母意為歸一化的權重。其中hi−
1(x)
h_(x)
hi−1(
x)為該點在上一次迭代後所得分類器對x
xx進行的**lable。根據該資料權重計算新的ϵ
i\epsilon_i
ϵi，繼而計算新的α
i\alpha_i
αi，得到第i
ii個分類器在所有分類器中的權重。直到得到最終分類器。
使用最終分類器計算**值：h(x
)=si
gn(∑
iαih
i(x)
)h(x) =sign(\sum_i\alpha_ih_i(x))
h(x)=s
ign(
∑iα
ihi
(x)
)
AdaBoost演算法梳理
在boosting family中，最具代表性的實現就是adaboost。adaboost是英文 adaptive boosting 自適應增強 的縮寫，它的自適應在於 前乙個基本分類器被錯誤分類的樣本的權值會增大，而正確分類的樣本的權值會減小，並再次用來訓練下乙個基本分類器。同時，在每一輪迭代中，...
Adaboost演算法流程記錄
下面關於adaboost的內容部分參考李航老師的 統計學習方法 輸入 訓練資料集 t 其中 x 為例項空間，y in 為標籤集合。輸出 最終的分類器 g x adaboost演算法流程 1 初始化訓練資料的權值分布 u n u 1 u 2 u n frac,frac,frac 其中右上角的 1 表示...
DDD 流程梳理
領域驅動設計提供了一整套戰略和戰術的方 這些方 都是前輩們在無數的專案中總結出來的經驗，我們在實際的專案中可以借鑑和學習。步驟 通用語言的提取和落地 領域模型的表示 上下文定義的邊界 領域的歸屬 資料建模 uml彩色建模 和 資料建模 通用語言的意義 總結 1.通用語言的提取需要我們把業務概念想全想...