決策樹的損失函式是什麼？怎麼理解？

在學習決策樹的過程中,會存在損失函式。損失函式是什麼呢?如何理解?

為了避免出現過擬合的現象，我們要對決策樹進行剪枝。

決策樹的剪枝類似一種引數正則化的過程，其選擇正則化的引數是樹的葉子節點的個數。

設決策樹 t 的葉子節點個數為 |t|，t 是樹 t 的葉子節點，該葉節點有 nt 個樣本點，其中 k 類的樣本點有 ntk 個，ht(t) 為葉節點 t 上的經驗熵，α⩾0 為正則化係數，則包含剪枝的決策樹的損失函式可以定義為：

其中，經驗熵為：

右邊第一項表示誤差大小，第二項表示模型的複雜度，也就是用葉節點表示，防止過擬化。

損失函式中的第一項表示模型對訓練資料的**誤差，也就是模型的擬合程度，第二項表示模型的複雜程度，通過引數 α 控制二者的影響力。一旦 α 確定，那麼我們只要選擇損失函式最小的模型即可。

損失函式第一項為什麼要乘以nt呢？

理解1

理解2對每個葉節點t來說，ht(t)表示t的熵（也就是不確定性）的期望，針對的是t子節點中每個資料例項的熵的期望，t子節點中有nt個例項，那麼t子節點總的熵（不確定性）就是ntht(t)，整個樹有∣t∣個葉節點，加起來就是整棵樹的熵（不確定性，也可以理解成誤差）。

可以看出，決策樹的構建過程只考慮對於訓練資料的擬合，每次特徵選擇也是考慮區域性最優，而剪枝過程則是乙個全域性優化的過程，剪枝的過程利用驗證集進行。