一、承前啟後 && kernel method
這一段話還是很重要的：1、如何處理feature很多很複雜的情況？kernel
2、如何將多個feature聯絡起來使用？ boost和blend
3、如何學習隱藏的feature？ deeplearning
首先還是引出了svm，為什麼需要使用svm呢，簡單的說，因為我們要到hyperplane的距離最大，這樣我們能容忍的範圍就是最大的，整個演算法也是robust的。
然後又是各種推導，考慮到scale已經優化方便等情況，得到：
後面講了一下svm的二次規劃解法，一般不是很常用，在資料少的時候能直接上qp，不過資料量好的解法後面會提到。
而hard-margin的svm其實可以理解為在ein=0的這個限制條件下對w進行優化，正因為增加了限制條件，也就減少了dichotomies，也就減小了vc bound，自然也就增強了演算法的泛化能力。
下圖是相當重要的，它證明了hard-margin svm的收斂性：
筆記 機器學習技法 Random Forest
permutation test的原理 隨機排序的方式來測試某個特徵的重要性 原本的表現 該特徵資料的隨機打亂後的表現。在面對非線性的問題的時候會首先用random forest來進行初步的特徵選擇。上圖一 一棵樹劃分情況，圖二 bagging的小樹的結果 bootstrap隨機產生的一顆樹的情況，...
機器學習技法 學習筆記04 Soft SVM
背景 之前所討論的svm都是非常嚴格的hard版本，必須要求每個點都被正確的區分開。但是，實際情況時很少出現這種情況的，因為雜訊資料時無法避免的。所以，需要在hard svm上新增容錯機制，使得可以容忍少量雜訊資料。軟 化問題 軟化svm的思路有點類似正規化，在目標函式新增錯誤累加項，然後加乙個係數...
《機器學習技法》 模型聚合
分別有 1 選擇最好的模型 2 每個模型均勻的投票 3 每個模型按不同的權重投票 4 每個模型的權重跟輸入有關。也就是均勻投票的聚合方式。對於二分類來說，就是 對於多分類來說，就是 對於回歸來說，就是 簡單推導一下為什麼這種聚合方式可以做的好 也就是blending之後的模型g的eout一定是比所有...