決策樹的基礎知識參照這裡面的內容：
總結：
1、決策樹的關鍵在於分類屬性的選擇
2、衡量分類屬性優劣的判別標準，資訊增益
3、a）計算類別資訊熵
b）計算不同分類屬性的資訊熵
c）類別資訊熵與分類資訊熵之差即為資訊增益
d）選擇資訊增益最大的屬性作為**標準
e）若已無分類屬性可以使用，但是並未達到純子集的目的，使用多數表決原則
4、關於分類屬性的理論推導仍然存在問題
5、決策樹中葉子結點即為最終的類別
決策樹和CART決策樹
首先簡單介紹下決策樹 說到決策樹肯定離不開資訊熵 什麼是資訊熵 不要被這名字唬住，其實很簡單 乙個不太可能的時間居然發生了，要比乙個非常可能的時間發生提供更多的資訊。訊息說 今天早上太陽公升起 資訊量是很少的，以至於沒有必要傳送。但另一條訊息說 今天早上日食 資訊量就很豐富。概率越大資訊量就越少,與...
決策樹（二）決策樹回歸
回歸 決策樹也可以用於執行回歸任務。我們首先用sk learn的decisiontreeregressor類構造一顆回歸決策樹，並在乙個帶雜訊的二次方資料集上進行訓練，指定max depth 2 import numpy as np quadratic training set noise np.r...
決策樹01 決策樹的原理
此筆記根據 machine learning in action 和周志華教授的 機器學習 所作。缺點 可能會產生過度匹配問題。適用資料型別 數值型和標稱型 machine learning in action if so return 類標籤 else 尋找劃分資料集的最好特徵 劃分資料集 建立分...