Task5 模型整合

整合學習方法

– 假設你有許多基礎分類器—「簡單的分類規則」,則組合

這些分類規則可能是乙個好主意, 可能會比單個規則獲得

更高的精度

– 選擇基礎分類器時候往往主要考慮的是其簡單性,而非精

度– 基礎分類器應該對總體中的一部分不同個體是精確的,他

們組合起來可以有效處理所有個體 (即互為補充)

– 基礎分類器之間的差異

不同基礎分類器有著不同的假設

同一分類器有著不同的超引數

同一輸入物件或事件的不同表達:例如語音識別裡面

嘴唇運動的聲音特徵和形狀變化過程都是輸入

不同的訓練集:使用不同訓練集並行或者依次訓練基

礎分類器

不同的子任務: 主要任務通過使用一些基礎分類器解

決一系列子任務而完成

– 組合基礎分類器

多專家綜合方法 (並行方式)

· 基礎分類器並行方式執行

· 綜合每個分類器的結果給出最終結果

· 例如:投票制

多階段綜合方法 (依序方式)

· 基礎分類器依序進行

· 根據複雜性將基礎分類器從小到大排序:不使用

複雜的分類器,除非都不滿意前面的簡單分類器

• 乙個整合學習方法比單個學習方法的推廣能力更強,原因在於

– 訓練集沒有包含可以選擇乙個最佳分類器的充分資訊

– 學習演算法的學習過程可能不完美

– 搜尋的空間可能沒有包含真正的目標函式,而整合學習可

以給出更好的近似

模型選擇和模型平均(整合學習)

– 當乙個模型比其他模型顯著的更精確,則模型選擇方法更

好– 如果所有模型**精度類似,則模型平均方法更好

2.投票

• 投票 (voting) 方法使用所有基礎學習器結果的凸組合作為最終

決策:其中 w i 為權重, d i 為第 i 個學習器的**結果; θ = (θ 1 , . . . , θ l )

為所有學習器的引數.

3.整合學習類別

bagging

bagging，這個名字就是從袋子裡取的意思，本身便很形象的說明了這個演算法的核心思想，即在原始資料集上通過有放回的抽樣的方式，重新選擇出 s 個新資料集來分別訓練 s 個分類器，隨後在**的時候採用多數投票或者求均值的方式來判斷**結果。

boosting

提公升學習（boosting），這個名字也很形象，在賽車遊戲中氮氣加速有時候介面就描述是 boost，也就是越加越快，每次都比上一次更快，也就是說同 bagging 是不一樣的，boosting 是會根據其他的弱分類器的結果來更改資料集再餵給下乙個弱分類器。準確的描述為，boosting 演算法每一步產生弱**模型（如決策樹），並加權累加到總模型中。

它的意義在於如果乙個問題存在弱**模型，那麼可以通過提公升技術的辦法得到乙個強**模型。

stacking

bagging 是把訓練集拆成不同的子集訓練多個學習器投票，而 boosting 是根據學習器學習的結果來改動資料集，經過多層改動後試圖獲得乙個更好的**效果。bagging 和 boosting 這兩個整合學習其實並沒有通過訓練結果來改變弱分類器的引數。相對比而言，stacking 就激進許多，當然也複雜和困難許多，它首先訓練出多個不同的模型，然後再以之前訓練的各個模型的輸出作為輸入來新訓練乙個新的模型，換句話說，stacking 演算法根據模型的輸出是允許改其他分類器的引數甚至結構的，也正是因為這點sklearn中很少有 stacking 的內建的演算法.

Task5 模型整合

Task5 模型整合

Task5 模型整合

Task5 模型整合

相關推薦