決策樹算是比較常見的資料探勘演算法了，最近也想寫點演算法的東西，就先寫個決策樹吧。
決策樹是什麼，我們來「決策樹」這個詞進行分詞，那麼就會是決策/樹。大家不妨思考一下，重點是決策還是樹呢？其實啊，決策樹的關鍵點在樹上。
我們平時寫**的那一串一串的if else其實就是決策樹的思想了。看下面的圖是不是覺得很熟悉呢？
當然決策樹演算法比這複雜那麼一丟丟，所以在說決策樹之前，我們需要先了解一些基本知識，先來說說資訊理論中的資訊熵。
決策樹之所以叫決策樹，就是因為它的結構是樹形狀的，如果你之前沒了解過樹這種資料結構，那麼你至少要知道以下幾個名詞是什麼意思。
學過樹這種資料結構的同學可能一看就明白了，沒有學過也沒關係，我們可以用上面的圖來說明各部分分別是什麼。
要說決策樹，那資訊熵是繞不過去的一座山~
假設你要知道一件未知的事情，比如明天會不會下雨。這時候你就需要去獲取一些資訊，比如空氣乾濕度，今天是萬里無雲還是多雲等等(假設沒有天氣預報)。這些資訊中，有的可以讓你能更加準確判斷明天會不會下雨(比如今天有沒有雲)，而有資訊些則不會(比如今天晚餐吃什麼)。如何度量這些資訊對你決策的幫助呢？這裡要使用到的就是資訊熵了，資訊熵正是對資訊量有效性的一種度量方法。
如果你還記得高中化學的知識的話，那對熵這個字應該不會陌生。熵在化學中是表示分子的混亂程度，分子越混亂，它的熵就越大，而若分子越有序，熵值就越小。
資訊熵也是一樣的，它能對資訊的不確定性進行恒量，如果某個資訊讓我們的判斷更加有序，清晰，則它資訊熵越小，反之越大。
還是接上面的例子，現在你知道了空氣的濕度，那麼你就能更準確得判斷明天是否會下雨。你得到的資訊讓你的結論更加清晰，準確，所以它的熵值就比較小，因為它讓資訊更加準確。而對今天晚餐吃什麼這個資訊，顯然它對你判斷明天會不會下雨是沒什麼幫助的，所以它的資訊熵是比較大的，因為這個資訊和明天有沒有下雨沒有關係，它並沒有讓我們的判斷更加清晰，甚至讓我們的判斷趨於混亂。
計算資訊熵的公式如下：
其中u指的是某一資訊，pi則是指資訊中各種可能出現的結果的概率。
比如u為空氣濕度，空氣濕度一共有3中(乾燥，微濕，濕潤)，則可以p1表示空氣乾燥的概率，p2表示空氣微濕的概率，p3表示空氣濕潤的概率，這些概率都是可以通過樣本統計出來的。然後空氣濕度的資訊熵就可以計算出來了：
h(空氣濕度) = p1 * log(p1) + p2 * log(p2) + p3 * log(p3)
我們可以舉吳軍老師的「數學之美」中的乙個例子來解釋這條式子。
假設2023年，有32支球隊參加世界盃，每只球隊最終獲得冠軍的概率一樣。在世界盃之後，你去問別人世界盃冠軍是哪個國家的？那個人不直接跟你說，讓你猜！並且每猜一次，你需要支付1塊錢，這時你怎麼才能花最少的錢呢？
學過演算法的我們自然知道可以用二分法，把32支球隊分成兩半，猜對猜錯之後自然知道球隊在哪一半，再二分再猜，這樣最終你需要猜5次，也就是需要支付5塊錢，沒錯吧。這樣一來，這條資訊的價值就是5塊錢，而在計算機中，則用***bit***表示。假如一共有64支球隊，那我們就需要多猜一次，這條資訊的**就變成了6。從這裡我們就可以看出資訊的度量跟log有關，log32=5，log64=6嘛。
現在我們來運用上面的公司，我們讓p1,p2,p3...p32表示每支球隊獲勝的概率，運用公式，則
h(獲勝) = p1*logp1 + p2*logp2 + ... + p32*log32
資訊熵最早是用在通訊領域的，而決策樹的誕生是緣於澳大利亞計算機科學家昆蘭，在一次研究生課程大作業中，引入了資訊增益準則來改進程式。而後在2023年發表這一相關**後，決策樹演算法正式問世，並掀起一股決策樹演算法的研究熱潮。
那麼它被用在**呢？
我們知道決策樹由許多屬性和分支組成，那麼如何決定哪個屬性在前，哪個在後呢。這裡就需要用到資訊熵了。
前面我們提到過資訊熵是對資訊不確定性的度量，既然資訊可以度量，那每次我們只要找到資訊熵的值最小，也就是讓決策更加清晰的那個屬性來作為根進行分支，那不就行了嗎？什麼，你說分支後怎麼辦，對樹處理的基本方法就是遞迴，分支後，每一分支節點都可以當作一棵新的樹，然後再來重複上面的步驟啦。
今天先介紹決策樹的一些基礎知識，後面我們會通過乙個實際的例子以及**來看看決策樹的執行原理。
另外...祝大家元旦快樂！
決策樹 結構 決策樹及其基本概念
決策樹主要知識 決策樹 決策樹 在分類問題中，表示基於特徵對例項進行分類的過程。決策樹可以認為是1.if then規則的集合 2.定義在特徵空間與類空間上的條件概率分布。決策樹優點 模型具有可讀性，分類速度快。決策樹學習與 過程 決策樹 分類決策樹描述對例項進行分類的樹形結構。由結點 node 節點...
決策樹 結構 神經網路 能否代替 決策樹演算法 ？
這個問題可以從幾個維度來分析。但先要說明決策樹就是決策樹，隨機森林和xgboost的效能提公升主要是來自於整合學習。所以，我們擴充套件一下題目把對比延伸到 單棵決策樹，如比較常見的c4.5等 以決策樹為基模型的整合學習演算法 ensemble tree 如隨機森林，gradient boosting...
機器學習演算法 決策樹
決策樹類似一中策略或者條件選擇，其中各個節點代表選擇條件，各個葉子結點代表可能達到的結果，決策樹 decision tree 是乙個樹結構 可以是二叉樹或非二叉樹 其每個非葉節點表示乙個特徵屬性上的測試，每個分支代表這個特徵屬性在某個值域上的輸出，而每個葉節點存放乙個類別。使用決策樹進行決策的過程就...