標籤（空格分隔）： 機器學習
對於一些弱分類器來說，如何通過組合方法構成乙個強分類器。一般的思路是：改變訓練資料的概率分布(權值分布)，針對不同的訓練資料分布呼叫弱學習演算法學習一系列的弱分類器，然後將他們組合起來，形成強分類器。
需要解決的問題有：
已知資料集t=
1. 初始化訓練資料集
t 的權值分布：d1
=，則**的損失函式為：j=
∑ni=
1w1i
l(y^
i−yi
) ;
2. 使用帶有權值分布的資料集d1
學習，得到乙個基本分類器：g1
(x) ;
3. 計算分類器g1
(x) 在訓練資料集上的分類誤差率：ϵ1
=∑ni
=1w1
ii(g
1(xi
)≠yi
) ；(該分類錯誤率 為)
4. 計算每個分類器的係數：α1
=12l
n1−ϵ
1ϵ1 .
5. 根據下式更新資料集分布dm
: (wm
i 為第m個分類器中每個資料i的權重) wm
i=，目標是找到近似函式f^
(x) ，使得損失函式l(
y,f(
x)) 的損失值最小。
給定常函式f0
(x):
f0(x)=a
rgmi
nγ∑n
i=1l
(yi,
γ)對於m=1 到 m
a. 計算偽殘差ri
m=[∂
l(yi
,f(x
i))∂
f(xi
)]f(
x)=f
m−1(
x);
b. 使用資料ni
=1計算擬合殘差的基函式fm
(x) ;
c. 計算步長γm
=arg
minγ
∑ni=
1l(y
i,fm
−1(x
i)−γ
∗fm(
xi))
;更新模型fm
(x)=
fm−1
(x)−
γmfm
(xi)
.
機器學習 整合學習
1.理解什麼是整合學習 所謂 整合 是指同時構建多個學習器，這裡的學習器主要針對弱學習器。2.弱學習器主要是指泛化能力略優於隨機猜測的學習器，弱的相結合會得到更好的泛化能力。三個臭皮匠嘛！3那麼這些弱的摻雜起來為什麼會得到好的呢？主要思想就是投票法。所以呀我們要得到好的整合效果，必須要求個體學習器要...
機器學習 整合學習
一。概括 整合學習 ensemble learning 本身不是乙個單獨的機器學習演算法，而是通過構建並結合多個機器學習器來完成學習任務。可以用於分類問題整合 回歸問題整合 特徵選取整合 異常點檢測整合等等，可以說所有的機器學習領域都可以看到整合學習的身影。整合學習思想 對於訓練集資料，通過訓練若干...
機器學習 整合學習
1.1 整合學習概述 整合學習在機器學習演算法中具有較高的准去率，不足之處就是模型的訓練過程可能比較複雜，效率不是很高。目前接觸較多的整合學習主要有2種 基於boosting的和基於bagging，前者的代表演算法有adaboost gbdt xgboost 後者的代表演算法主要是隨機森林。1.2 ...