機器學習 決策樹的優缺點

2021-07-23 14:45:13 字數 750 閱讀 7497

一:決策樹的缺點

1.如果你的邊界很光滑動,決策樹不會很好用。也就是說當你有不連續的例項時,決策樹才表現最好。

2. 如果有很多不相關的變數,決策樹表現的不好。決策樹的工作是通過找到變數間的相互作用。

3. 資料框架:樹的每次**都減少了資料集。有意地創造**將會潛在地引進偏差(bias)

4. 高方差和不穩定性:運用貪婪策略到決策樹方差,找到樹的正確的開始點會影響最終的結果。也就是說早期的小的改變,之後都會有大的影響。所以,如果,舉個例子,從你的世界裡找出兩個不同的樣例,兩個樣例的開始點將會很不同。

(可能會有不同的方差)這會導致完全不同的結果。

5.不穩定性。擾亂一點,改動一點值,決策樹就會改變。我們想要我們的分類器對雜訊是健壯的,所以這不是我們期望的。

6.決策樹不會給你正確的答案,它會給你許多可能的答案。改變樹的根結點,從另乙個變數開始,你可能會得到不同的樹,哪個是對的呢?

7. 改變the size of bins,即劃分連續屬性的段的大小。比如年齡從0-200,你可以劃分為1-10,11-20,這時size of bins是10. 如果你劃分成1-20,21-40,那麼size of bins 是20.

8.改變random seed 隨機種子也會改變決策樹。對另乙個樣例重複這個過程,你將會得到另乙個樹。自己做足夠的排列,你將會得到你的樹。

9.樹的演算法,通常使用卡方檢驗(chi-square) 去決定任何特定**的影響。但是即使在決定之前,演算法已經嘗試了多個變數的組合去找到最好的**。

參考資料:

決策樹演算法優缺點

決策樹演算法的優點 1 決策樹演算法易理解,機理解釋起來簡單。2 決策樹演算法可以用於小資料集。3 決策樹演算法的時間複雜度較小,為用於訓練決策樹的資料點的對數。4 相比於其他演算法智慧型分析一種型別變數,決策樹演算法可處理數字和資料的類別。5 能夠處理多輸出的問題。6 對缺失值不敏感。7 可以處理...

機器學習中常見的演算法的優缺點之決策樹

決策樹在機器學習中是乙個十分優秀的演算法,在很多技術中都需要用到決策樹這一演算法,由此可見,決策樹是乙個經典的演算法,在這篇文章中我們給大家介紹決策樹演算法的優缺點,希望這篇文章能夠更好的幫助大家理解決策樹演算法。那麼決策樹自身的優點都有什麼呢,總結下來就是有六點,第一就是決策樹易於理解和解釋,可以...

機器學習 決策樹

一 基本概念 決策樹 decision tree 是一種基本的分類與回歸方法。決策樹模型呈樹形結構,在分類問題中,表示屬於特徵對例項進行分類的過程,它可以認為是if then規則的集合,也可以認為是電議在特徵空間與類空空上的條件概率分布,其主要優點是模型具有可讀性,分類速度快。決策樹的學習通常包括3...