分別有：（1）選擇最好的模型；（2）每個模型均勻的投票；（3）每個模型按不同的權重投票；（4）每個模型的權重跟輸入有關。
也就是均勻投票的聚合方式。對於二分類來說，就是：
對於多分類來說，就是：
對於回歸來說，就是：
簡單推導一下為什麼這種聚合方式可以做的好：
也就是blending之後的模型g的eout一定是比所有g的eout的平均值好的。（不一定比單個g的eout好）。
也就是每個模型按照不同的權值投票。
那麼我們如何來求得這些權值呢？事實上，linear blending可以看作是乙個兩層學習的形式。第一層學出一堆的小g，第二層相當於用這些小g對原始資料作乙個非線性變換，然後把這些新的變換後的資料用乙個線性模型來學習：
這裡的α>0的約束條件其實可以丟掉，事實上我們可以接受α<0。
這裡需要注意，我們在第二層學習的時候，不能再使用之前訓練小g的訓練集來做非線性變換。這是因為，我們之前學到過在做模型選擇時，如果用ein來選擇，就會付出相當大的vc維代價（即所有備選模型並集的vc維）：
而這裡的linear blending，包含了模型選擇的這種情況（其中乙個α為1，其他為0），因此它的vc維代價更大：
因此，正確的做法是：在訓練集上訓練出一堆的小g，然後對驗證集的資料用這些小g作非線性變換得到新的資料，對這些新的資料來學出權值α。
擴充套件到any blending,我們第二層的學習不一定是線性模型，也可以是任意模型：
不過要注意，any blending過擬合的風險比較高。
有一筆資料，通過bootstrap(有放回抽樣)，可以生成一筆新的資料，它與原來的資料大體上**於乙個概率分布。
使用這種bootstrap來產生新樣本，進而產生不一樣的小g，稱為bagging。
筆記 機器學習技法 Random Forest
permutation test的原理 隨機排序的方式來測試某個特徵的重要性 原本的表現 該特徵資料的隨機打亂後的表現。在面對非線性的問題的時候會首先用random forest來進行初步的特徵選擇。上圖一 一棵樹劃分情況，圖二 bagging的小樹的結果 bootstrap隨機產生的一顆樹的情況，...
機器學習技法筆記（1）
一 承前啟後 kernel method 這一段話還是很重要的 1 如何處理feature很多很複雜的情況？kernel 2 如何將多個feature聯絡起來使用？boost和blend 3 如何學習隱藏的feature？deeplearning 首先還是引出了svm，為什麼需要使用svm呢，簡單的...
《機器學習技法》 對偶SVM
為什麼要求解對偶問題？一是對偶問題往往更容易求解，二是可以自然的引入核函式。原問題是 寫出它的拉格朗日函式 然後我們的原問題就等價為 為什麼可以這樣等價 即 對於不滿足約束條件的 b,w min裡面趨於無窮大，因此min就把這些b,w捨去了 對於滿足約束條件的解，min裡面就剛好是原來的目標函式，剛...