由於機器學習涉及的方法很廣，對機器學習有了乙個橫向巨集觀的把握之後，需要縱向對某一類方法進行深入的學習。
因為要研究的課題內容是有監督學習，因此選擇一類有監督的學習方法進行深入的研究 。
整合學習綜述(2023年10月)
目前來說機器學習的研究主要分為四個大方向：
a) 通過整合學習方法提高學習精度；
b) 擴大學習規模；
c) 強化學習；
d) 學習複雜的隨機模型；
就目前而言，在各大競賽中，整合學習方法使用較廣，而且泛化效果很好，取得了不錯的成績，例如在kdd和kaggle。因此選擇對整合學習方法進行深入研究。
目前，常用的整合學習的基分類器大都採用決策樹演算法，例如boosted tree相關演算法。所以開始對決策樹演算法進行深入的掌握。
因此學習的思路是：
1）對決策樹演算法進行學習，id3，c4.5和cart
2）對提公升樹演算法進行學習（橋梁的作用，其思想也是關鍵所在）
3）對adaboost，gbdt，xgboost ，rf，lightgbm等演算法進行深入研究
達到的目標：
1）對每一種具體演算法都能夠掌握的很細，使用python進行編碼實現
2）對演算法的優缺點，擅於解決什麼樣型別的問題進行總結
3）在方法上進行創新，例如對目標函式以及優化演算法的方法
決策樹演算法改進 整合學習
使用多種弱學習方法 即id3演算法，c4.5演算法，cart演算法 的組合，做多個分類模型，即多棵決策樹 模擬多專家投票 來獲取比原方法更優的分類結果。sklearn庫實現袋裝法改進分類結果，並做袋裝法和決策樹演算法效果對比 載入庫函式 import sklearn.datasets as data...
機器學習 決策樹與整合演算法
樹模型 決策樹 從根節點開始一步步走到葉子節點 決策 決策樹所有的資料最終都會落到葉子節點，既可以做分類也可以做回歸 樹的組成 根節點 第乙個選擇點 決策樹非葉子節點與分支 中間過程 葉子節點 最終的決策結果 決策樹的訓練與測試 訓練階段 從給定的訓練集構造出來一棵樹 從跟節點開始選擇特徵，如何進行...
整合學習的決策樹的演算法
常見的整合學習框架有三種 bagging boosting 和 stacking。三種整合學習框架在基學習器的產生和綜合結果的方式上會有些區別，我們先做些簡單的介紹。1.1 bagging bagging 全稱叫 bootstrap aggregating，看到 bootstrap 我們立刻想到著名...