對於具有多個屬性的分類問題，我們需要找到乙個合適的分類方法，這裡，我們嘗試採用符合人類決策過程的決策樹學習演算法，用樹形判斷的方式對資料逐層分類。
本次報告測試資料採取《機器學習實戰》中測試資料集，無缺省異常值。四維資料基本格式展示如下：
決策樹是一種基於資訊理論的 以樹形 結構 展示的 分類演算法 ，通過找出具有最大 資訊量的劃分特徵 ，對資料進行逐一劃分 ，對資料進行逐一劃分 ，各種決策樹的主函式大同小異，本質上是個遞迴函式， 上是個遞迴函式上是個遞迴函式， 函式主要功能是根據某種規則生長出決策樹的各個分支節點， 並根據終止條件結束演算法 。
其中，本次實現的決策樹停止規則如下 ：
1. 當前節點全部屬於同一類別無需劃分
2. 當前所有樣本在所有屬性上取值相同無法劃分
具體實現如下：
而對資訊量的確定主要是基於論中熵義 ：
在確定樹的劃分方式時 ，利用以上定義 ，利用以上定義 ，判斷每次劃分方式與原集資訊量的 ，判斷每次劃分方式與原集資訊量的 差值從而判斷最優劃分 ，這個差值 ，定義為資訊增益 ：
具體通過python遞迴實現：
通過該方式 ，對原資料進行劃分 ，並通過 matplotlib matplotlibmatplotlibmatplotlib matplotlib matplotlib中注釋的方式對決策樹 中注釋的方式對決策樹 進行視覺化處理 。
原資料集類較少 ，所以劃分得的樹深度也不高 ，得到結果如圖 ：
決策樹學習
決策樹學習是一種逼近離散值目標函式的方法，在這種方法中學習到的函式被表示為一棵決策樹。決策樹通過把例項從艮節點排列到某個葉子結點來分類例項，葉子結點即為例項所屬的分類。樹上的每乙個結點指定了對例項的某個屬性的測試，並且該結點的每乙個後繼分支對應於該屬性的乙個可能值。分類例項的方法是從這棵樹的根節點開...
決策樹學習
決策樹是一種在機器學習中常見的學習演算法。決策樹是一種基於樹結構來進行決策分類和回歸的，在每一步的決策過程中根據屬性值來進行劃分，決策過程中提出的每個判定問題就是對某乙個屬性的測試。一般的，乙個決策樹通常包含乙個根節點，若干的葉子節點和內部節點，葉子節點對應於最後的決策結果，其他每一節點對應於每乙個...
決策樹學習
決策樹是以例項為基礎的歸納學習。該類方法從一類無序，無規則的事物中推理出決策樹表示的分類規則。不論哪種決策樹學習演算法，其基本思想是一致的，即以資訊熵為度量構造一棵 熵值下降最快的樹，到葉子節點處的熵值為零。此時每個葉子結點的例項都屬於同一類。決策樹學習採用自頂向下的遞迴方法，決策樹的每一層結點依靠...