根據這兩個鏈結可知，
其實sklearn的決策樹僅僅是實現了cart樹而已，
當資訊計算方式為gini，entropy，就用來分類
注意，sklearn並沒有實現id3，但是cart中使用entropy的效果，等效於「二叉樹的id3」
因為id3可以是「二叉決策樹」，也可以是「多叉決策樹」，所以sklearn使用決策樹+entropy方式時，
無法實現「基於id3演算法的多叉決策樹」
圖為：
另外注意，對於cart樹而言，sklearn實現時，
回歸是二叉樹
二分類問題，sklearn執行結果是二叉cart樹
多分類問題，sklearn執行結果也是二叉cart樹
注意，對於cart樹而言，
二分類時，使用的gini指數最大是0.5，
多分類時，使用的gini指數最大接近1，
這裡的gini指數並不是經濟學中的gini指數，
經濟學中的gini指數取值範圍是0～1
ID3演算法Java實現
1.1 資訊熵 熵是無序性 或不確定性 的度量指標。假如事件a 的全概率劃分是 a1,a2,an 每部分發生的概率是 p1,p2,pn 那資訊熵定義為 通常以2 為底數，所以資訊熵的單位是 bit。1.2 決策樹 決策樹是以例項為基礎的歸納學習演算法。它從一組無次序 無規則的元組中推理出決策樹表示形...
java實現ID3演算法
id3是經典的分類演算法，要理解id3演算法，需要先了解一些基本的資訊理論概念，包括資訊量，熵，後驗熵，條件熵。id3演算法的核心思想是選擇互資訊量最大的屬性作為分割節點，這樣做可以保證所建立的決策樹高度最小。樹結構 c4.5決策樹資料結構 author zhenhua.chen descripti...
ID3演算法的java實現
id3演算法是經典的決策樹學習生成演算法。id3演算法的核心是在決策樹各個節點上運用資訊增益準則選擇特徵，遞迴的構建決策樹。具體方法是 從根節點 root node 開始，對接點計算所有可能的特徵的資訊增益，選擇資訊增益最大的特徵作為節點的特徵，有該特徵的不同取值建立子節點 再對子節點遞迴的呼叫以上...