gbdt是一種用於回歸的機器學習演算法，也可以用於分類，該演算法由多棵回歸決策樹組成，所有樹的結論累加起來做最終答案。當把目標函式做變換後，該演算法亦可用於分類或排序。
隨機森林能夠解決分類與回歸兩種型別的問題，（雖然rf能做回歸問題，但通常都用rf來解決分類問題）；
隨機森林在解決回歸問題時，並沒有像它在分類中表現的那麼好，這是因為它並不能給出乙個連續的輸出。當進行回歸時，隨機森林不能夠做出超越訓練集資料範圍的**，這可能導致在某些特定雜訊的資料進行建模時出現過度擬合。（ps:隨機森林已經被證明在某些噪音較大的分類或者回歸問題上回過擬合）
lr線性可分的分類，xgb分類回歸都可以
分類模型和回歸模型
分類 概念 對於分類問題，監督學習從資料中學習乙個分類模型或者分類決策函式，稱為分類器。分類器對新的輸入 其屬於哪一類別，稱為分類。優化過程 找到最優決策面 輸出 離散值，如0 1，yes no 評價指標 一般是精確率，即給定測試資料集，分類器能正確分類的樣本數佔總樣本數的比。模型損失函式 交叉熵損...
機器學習演算法模型，如何區分分類還是回歸？
本週要去給培訓班的學員總結機器學習演算法模型，我與授課小組討論一下教案，其中乙個話題就是如何來區分乙個應用是分類問題還是回歸問題？如何來正確的選擇演算法模型？從這個總結的內容來看，我覺得問題還是很多的，就是說分類還是回歸這兩種不同的演算法，實際區分起來沒那麼簡單。教案裡講，如果輸出的是乙個可度量的值...
CART分類回歸樹
cart分類回歸樹1984年提出，id3演算法1986年提出，c4.5演算法1993年提出 cart由特徵選擇 樹的生成及剪枝組成。cart假設決策樹是二叉樹，內部結點特徵取值為是和否 cart使用損失函式最小作為剪枝的標準。回歸樹的生成 使用平方誤差最小化準則。對於任意劃分特徵a,對應的任意劃分點...