決策樹（CART演算法）

分類問題中，假設有k個類，樣本點屬於第k類的概率為p

kp_k

pk，則概率分布的基尼指數定義為：

其中p

kp_k

pk表示選中的樣本屬於k

kk類別的概率，則這個樣本被分錯的概率為(1−

pk)(1-p_k)

(1−pk

)。對於給定的樣本集合d，其基尼指數為：

這裡的c

kc_k

ck是d中屬於第k類的樣本資料，k是類的個數。

如果樣本集合d根據特徵a是否取某一可能值a被分割成d

1d_1

d1和d

2d_2

d2兩部分，即

則在特徵a的條件下，集合d的基尼指數定義為：

說明：基尼指數gini(d)表示集合d的不確定性，基尼指數gini(d,a)表示經a=a分割後集合d的不確定性。基尼指數值越大，樣本集合的不確定性也就越大，這一點跟熵相似。

輸入：訓練資料集d，停止計算的條件

輸出：cart決策樹

根據訓練資料集，從根結點開始，遞迴地對每個結點進行以下操作，構建二叉樹：

step1：設結點的訓練資料集為d，計算現有特徵對該資料集的基尼指數。此時，對每乙個特徵a，對其可能取的每個值a，根據樣本點a=a的測試為「是」或「否」將d分割為d1和d2兩部分，利用上式gini(d,a)來計算a=a時的基尼指數。

step2：在所有可能的特徵a以及他們所有可能的切分點a中，選擇基尼指數最小的特徵及其對應可能的切分點作為最優特徵與最優切分點。依最優特徵與最有切分點，從現結點生成兩個子節點，將訓練資料集依特徵分配到兩個子節點中去。

step3：對兩個子結點遞迴地呼叫step1、step2，直至滿足條件。

step4：生成cart決策樹

演算法停止計算的條件是節點中的樣本個數小於預定閾值，或樣本集的基尼指數小於預定閾值，或者沒有更多特徵。

下面用算例說明怎麼應用此公式進行計算。