η設定為隨模型迭代輪數t
t（iteration，即一次批處理隨機梯度下降稱為乙個迭代輪數）改變的函式，即： (t
)=η0
2(co
s(πm
od(t
−1,[
t/m]
)[t/
m])+
1)η(t)=η02(cos(πmod(t−1,[t/m])[t/m])+1)0η0
若網路超引數設定得當， 深度模型隨著網路的進行會逐步趨於收斂，但是不同的訓練輪數仍有不同， 無法確定哪一輪的模型最適合用於測試資料。 乙個簡單方法解決這個問題是將最後幾輪引數模型結果做整合， 這樣一方面可以降低隨機誤差，另一方面可以避免訓練輪此過多帶來的過擬合現象， 這樣的操作被稱為輪次整合。
不同目標函式：目標函式(或稱損失函式)是整個網路訓練的「指揮棒」, 選擇將「交叉熵損失函式」、「合頁損失函式」、「大間隔交叉熵損失函式」和「中心損失函式」作為目標函式分別訓練模型。在**階段,既可以直接對不同模型**結果做「置信度級別」的平均或投票,也可以做「特徵級別」的模型整合:將不同網路得到的深度特徵抽出後級聯作為最終特徵,之後離線訓練淺層分類器(如支援向量機)完成**任務。
不同的網路結構：可以在使用如vgg， 深度殘差等不同網路架構的網路上訓練模型，最後將不同架構網路得到的結果做整合。1,
s2,.
..,s
ns1,s2,...,snfi
nals
core
=∑ni
=1si
nfinalscore=∑i=1nsin
加權平均法
加權平均法是直接平均的基礎上加入權重來調節不同模型輸出間的重要程度。 fi
nals
core
=∑ni
=1ωi
sinfinalscore=∑i=1nωisin
其中ωiωi
為第ii
個模型的權重， 且滿足： ωi
>=
0ωi>=0
and ∑ni
=1ωi
=1∑i=1nωi=1
投票法（voting）
投票法中最常用的是多數表決法。表決前需先將各自模型返回的**置信度sisi
轉化為**類別,即最高置信度對應的類別標記 cici
∈ 作為該模型的**結果。多數表決法中在得到樣本 x 的最終**時,若某**類別獲得一半以上模型投票,則該樣本**結果為該類別; 若對該樣本無任何類別獲得一半以上投票,則拒絕作出**
投票法中另一種常用方法是相對多數表決法 , 與多數表決法會輸出「拒絕**」不同的是,相對多數表決法一定會返回某個類別作為**結果, 因為相對多數表決是選取投票數最高的類別作為最後**結果。
堆疊法
堆疊法又稱「二次整合法」是一種高階的整合學習演算法。在剛才的例子中,樣本 x 作為學習演算法或網路模型的輸入, sisi
作為第 i 個模型的類別置信度輸出,整個學習過程可記作一階學習過程。堆疊法則是以一階學習過程的輸出作為輸入開展二階學習過程, 有時也稱作「元學習」。拿剛才的例子來說,對於樣本 x, 堆疊法的輸入是 n 個模型的**置信 度[s
1,s2
,...
,sn]
[s1,s2,...,sn]
這些置信度可以級聯作為新的特徵表示。之後基於這樣的」特徵表示」訓練學習器將其對映到樣本原本的標記空間。此時學習器可為任何學習演算法習得的模型，如支援向量機，隨機森林 ,當然也可以是神經網路模型。不過在此需要指出的是,堆疊法有較大過擬合風險。
模型整合方法
資料層面的整合方法 測試階段資料擴充 以隨機扣取為例，對某張測試影象可得到n張隨機扣取影象，測試階段只需用訓練好的深度網路模型對n張圖分別做 之後將 的各類置信度平均作為該測試影象的最終 結果即可。簡易整合法 對於樣本較多的類採取降取樣，每次取樣數依照樣本數目最少的類別而定，這樣每類取到的樣本數是均...
模型整合方法
模型層面的整合方法 多模型整合 小結整合學習是機器學習中的一類學習演算法，指訓練多個學習器並將它們組合起來使用的方法。這類演算法通常在實踐中能取得比單個學習器更好的 結果，頗有 眾人拾柴火焰高 之意。儘管深度網路模型已經擁有強大的 能力，但整合學習的使用仍能起到 錦上添花 的作用。因此有必要了解並掌...
機器學習學習筆記 整合方法簡單介紹
整合方法 ensemble method 元演算法 meta algorithm 概念 是對其他演算法進行整合的一種形式 整合方法 i.投票方法 bagging 基於資料隨機抽樣分類起構造的方法 ii.再學習 boosting 基於所有分類器的加權求和的方法 場景 比較流行的是 bagging與bo...