決策樹主要知識：
決策樹
決策樹：在分類問題中，表示基於特徵對例項進行分類的過程。
決策樹可以認為是1.if-then規則的集合；2.定義在特徵空間與類空間上的條件概率分布。
決策樹優點：模型具有可讀性，分類速度快。
決策樹學習與**過程
決策樹：分類決策樹描述對例項進行分類的樹形結構。由結點（node=節點）和有向邊(directed edge)組成。結點：內部結點(internal node)-表示乙個特徵或屬性;葉結點(leaf node)-乙個類。
決策樹模型（圓：內部結點；方框：葉結點）
用決策樹分類，從根結點開始，對例項的某一特徵進行測試，根據測試結果，將例項分配到其子結點；這時，每乙個子結點對應著該特徵的乙個取值。重複。最後將例項分到葉結點的類中。
if-then規則：由決策樹的根節點到葉節點的每一條路徑構建一條規則；路徑上內部節點的特徵對應著規則的條件，而葉節點的類對應著規則的結論。
if-then規則的性質：互斥並且完備。每乙個例項當且僅當被一條路徑覆蓋。（覆蓋：例項的特徵與路徑的特徵一致或例項滿足規則的條件）
決策樹與條件概率分布：
決策樹表示為給定特徵條件下類的條件概率分布。將特徵空間劃分partition為互不相交的單元cell或區域region，並在每個單元定義乙個類的概率分布就構成了乙個條件概率分布。
決策樹的一條路徑對應於劃分中的乙個單元。
決策樹表示的條件概率分布由各個單元給定條件下類的條件概率分布組成。
假設x：特徵的隨機變數，y：類的隨機變數；條件概率分布：p(y|x).
x取值於給定劃分下單元的集合，y取值於類的集合。
各葉節點（類）上的條件概率往往偏向於某乙個類，即屬於某一類的概率較大。
決策樹分類時將該節點的例項強行分到條件概率大的那一類去。
決策樹對應與條件概率分布
大正方形：特徵空間。每個小矩陣表示乙個單元。y取值+1，-1。小矩陣中數字表示單元的類。（b）特徵空間劃分確定時，單元給定條件下類的條件概率密度。（c）對應的決策樹
決策樹 基本概念
熵計算公式 h x p xi log 2,p xi i 1,2,n 栗子1 義烏雜貨市場商品很多很混亂熵值會比較大 栗子2 蘋果專賣店只有蘋果品牌比較穩定，熵值很小 資訊增益 表示特徵x使得類y的不確定減少的程度 gini係數 2 1 14天outlook情況 outlook sunny時，熵值為0...
決策樹 結構 機器學習 三 決策樹演算法
決策樹算是比較常見的資料探勘演算法了，最近也想寫點演算法的東西，就先寫個決策樹吧。決策樹是什麼，我們來 決策樹 這個詞進行分詞，那麼就會是決策 樹。大家不妨思考一下，重點是決策還是樹呢？其實啊，決策樹的關鍵點在樹上。我們平時寫 的那一串一串的if else其實就是決策樹的思想了。看下面的圖是不是覺得...
決策樹 結構 通俗地說決策樹演算法（一）基礎概念介紹
決策樹算是比較常見的資料探勘演算法了，最近也想寫點演算法的東西，就先寫個決策樹吧。決策樹是什麼，我們來 決策樹 這個詞進行分詞，那麼就會是決策 樹。大家不妨思考一下，重點是決策還是樹呢？其實啊，決策樹的關鍵點在樹上。我們平時寫 的那一串一串的if else其實就是決策樹的思想了。看下面的圖是不是覺得...