無論是網路上還是任何一本入門級機器學習教材上面都對id3和c4.5的內容進行了詳細的介紹。在此不多加贅述，只簡單歸納下兩者之間的區別。嚴格說來，c4.5其實不是某一種特定的決策樹演算法，而是針對id3的缺陷進行改進的一系列演算法。
1.c4.5可以處理連續性屬性，而id3不可以。
2.id3通過資訊增益來選擇屬性，而c4.5通過資訊增益率來選擇屬性，這樣就避免了id3偏向選擇值多的那些屬性的缺陷。
3.c4.5可以處理缺少屬性值的訓練樣例，而id3不可以。
4.c4.5支援規則後修剪，而id3不支援。decision tree很容易overfitting，剪枝能夠避免決策樹無限制增長，避免過度擬合訓練資料。c4.5支援規則後修剪。在這裡規則後修剪，又可分為兩種情況，一種是使用與訓練集不相交的驗證集，另外一種是不使用驗證集只使用訓練集的悲觀估計(pessimistic estimate)。
C4 5和ID3的差別
決策樹分為兩大類 分類樹和回歸樹，前者用於分類標籤值，後者用於 連續值，常用演算法有id3 c4.5 cart等。資訊量 資訊熵 當計算出各個特徵屬性的量化純度值後使用資訊增益度來選擇出當前資料集的分割特徵屬性 如果資訊增益度的值越大，表示在該特徵屬性上會損失的純度越大 那麼該屬性就越應該在決策樹的...
決策樹ID3和C4 5的區別
主要描述裡id3和c4.5的區別和改進，c4.5的優缺點，以及資訊增益與資訊增益比的計算方法 id3使用資訊增益作為特徵選擇的度量 c4.5使用資訊增益比作為特徵選擇的度量 資訊增益 g d,a h d h d a g d,a h d h d a h d h d 是資料集d的熵，計算公式h d kk...
CART與ID3的區別 C4 5離散化的過程
一 cart與id3的區別 通過之前的研究發現，cart與id3演算法都是基於資訊理論的決策樹演算法，cart演算法是一種通過計算diversity 整體 diversity 左節點 diversity 右節點 的值取最佳分割的演算法。id3和cart演算法的區別主要集中在樹的生成和樹的修剪方面，但...