1.2 決策樹的整合演算法
1.3 決策樹整合演算法案例
2. 整合學習
主要包括決策樹、隨機森林(rf)、gbdt、gbdt+lr和深度森林。
樹模型的優點是可以通過有監督的方式進行特徵的自動交叉和選擇，也是整合學習中的常用方法或組成部分，樹模型在工業界常用的方法有gbdt+lr和xgboost。
決策樹是隨機森林和gbdt等整合學習模型的基礎。
決策樹由節點和有向邊組成。節點分為內部節點和葉子節點，內部節點表示乙個特徵或屬性，葉結點表示乙個類。使用決策樹進行決策的過程就是，從根節點出發，測試待分類項中相應的特徵屬性，並按照其值選擇輸出分支，直到到達葉結點，將葉結點存放的類別作為決策結果。
下圖是一顆使用者是否購買計算機的決策樹，年齡、學生、信譽表示特徵，是否表示類別。
決策樹學習的本質是從訓練資料集上歸納出一組分類規則，通常採用啟發式的方法，即區域性最優。其具體做法是，每次選擇特徵時，都選擇當前最優的那個特徵作為劃分規則，即區域性最優的特徵。決策樹學習通常分為3個步驟：特徵選擇、決策樹的生成和決策樹的剪枝。
推薦系統 新聞推薦入門之排序模型 模型融合
排序階段選擇了三個比較有代表性的排序模型，它們分別是 lgb的排序模型 lgb的分類模型 深度學習的分類模型din 得到了最終的排序模型輸出的結果之後，還選擇了兩種比較經典的模型整合的方法 輸出結果加權融合 staking 將模型的輸出結果再使用乙個簡單模型進行 din的全稱是deep intere...
推薦系統 基於itemCF推薦模型
雖然目前工業界很少再直接通過itemcf來進行推薦，但可以從這個演算法中體會到這種集體智慧型的應用。充分利用集體智慧型，即在大量的人群的行為和資料集中收集答案，以幫助我們對整個人群得到統計意義上的結論，推薦的個性化程度高。基於以下兩個出發點 1 興趣相近的使用者可能會對同樣的東西感興趣 2 使用者可...
《推薦系統》 NFM模型
在ctr預估中，為了解決稀疏特徵的問題，學者們提出了fm模型來建模特徵之間的互動關係。但是fm模型只能表達特徵之間兩兩組合之間的關係，無法建模兩個特徵之間深層次的關係或者說多個特徵之間的互動關係，因此學者們通過deep network來建模更高階的特徵之間的關係。因此 fm和深度網路dnn的結合也就...