決策樹在每次迭代中尋找資料集的最優劃分方式（評估劃分方式的模型可供選擇）
選擇模型對應的最優劃分之後，建立分支（分支個數也可以調整）
每個分支的判別通常是： 例如 人的體重大於多少，小於多少。
決策樹最後會得到乙個特徵空間中很多個立方體式的空間分隔，k-means是球狀，而線性判別決策樹是方形。（但它們都聚集在了乙個區域性）
沒有直觀感受的同學可以看一下這個部落格中的圖
k-means由於是無監督學習，所以也只能得到聚合屬性的無監督分類，而決策樹是有監督型，所以對於同乙個類別，它可以得到空間中的多個球狀分布。
q： 空間內分布的複雜度與決策樹的複雜度的關係是怎麼樣的？
a： 我認為有幾點，第一對於乙個特徵空間，分布在乙個連通空間內的不規則性（越不像矩形越不規則）越大，決策樹的複雜度會上公升的很快，第二是在特徵空間中，乙個分布的非連通空間的數量越多，決策樹的複雜度也會加快上公升。
神經網路的乙個優越性就是體現在非線性擬合，可以使得各個類別在特徵空間中的邊界不是一條直線，而是各種各樣扭曲的線條。
決策樹演算法
決策樹是一種樹型結構，其中每個內部結點表示在乙個屬性上的測試，每個分支代表乙個測試輸出，每個葉結點代表一種類別。決策樹學習是以例項為基礎的歸納學習，採用的是自頂向下的遞迴方法，其基本思想是以資訊熵為度量構造一棵熵值下降最快的樹，到葉子結點處的熵值為零，此時每個葉節點中的例項都屬於同一類。決策樹學習演...
決策樹演算法
本文主要介紹id3 c4.5和cart演算法 決策樹起源於概念學習系統 cls 概念學習模型 是乙個事先定義的範疇集合和一些有關例子是否落入給定範疇的判定 概念學習的主要任務 是判斷所給定事物的屬性或特性,並且正確地區分這些事物,將其劃分到某乙個範疇 對於如下決策樹模型 我們首先考慮他的屬性outl...
決策樹演算法
引 最近老師布置了課堂展示的作業，主題是決策樹，老師還舉了買西瓜的決策例子，感覺貼近生活也很有意思。在這之前沒有了解過這個概念，通過幾個禮拜的學習收穫不少。一 首先，什麼是決策樹？個人而言，決策樹就是將人在做決策時的思維脈絡以樹的形式展示出來的產物，即決策的過程模型。這是一棵去不去打高爾夫球的決策樹...