1、認識決策樹：
決策樹思想非常樸素，程式設計中的條件就是if-then結構，最早的決策樹就是利用這類結構分割資料的一中分類學習方法。
2、資訊理論基礎-銀行貸款分析
夏農在2023年提出資訊理論，單位為位元；
資訊熵：可以理解為代價；資訊和消除不確定性是相聯絡的；
資訊增益：當得知特徵x的資訊而使得類y的資訊的不確定性減小的程度，
公式：g（d，a）=h（d）- h（d | a）
3、決策樹的生成
1）決策樹的分類依據：資訊增益、id3、c4.5、cart、基尼係數（劃分更仔細）
4、決策樹的優點
1）簡單的理解和解釋，樹木視覺化；
2）需要很少的資料準備、其他技術通常需要資料歸一化；
5、決策樹的缺點
1）決策樹學習可以建立不能很好推廣的資料過於複雜的樹，這種也被稱為過擬合。
6、改進：
1）剪枝演算法cart；
2）隨機森林；
決策樹演算法
決策樹是一種樹型結構，其中每個內部結點表示在乙個屬性上的測試，每個分支代表乙個測試輸出，每個葉結點代表一種類別。決策樹學習是以例項為基礎的歸納學習，採用的是自頂向下的遞迴方法，其基本思想是以資訊熵為度量構造一棵熵值下降最快的樹，到葉子結點處的熵值為零，此時每個葉節點中的例項都屬於同一類。決策樹學習演...
決策樹演算法
本文主要介紹id3 c4.5和cart演算法 決策樹起源於概念學習系統 cls 概念學習模型 是乙個事先定義的範疇集合和一些有關例子是否落入給定範疇的判定 概念學習的主要任務 是判斷所給定事物的屬性或特性,並且正確地區分這些事物,將其劃分到某乙個範疇 對於如下決策樹模型 我們首先考慮他的屬性outl...
決策樹演算法
引 最近老師布置了課堂展示的作業，主題是決策樹，老師還舉了買西瓜的決策例子，感覺貼近生活也很有意思。在這之前沒有了解過這個概念，通過幾個禮拜的學習收穫不少。一 首先，什麼是決策樹？個人而言，決策樹就是將人在做決策時的思維脈絡以樹的形式展示出來的產物，即決策的過程模型。這是一棵去不去打高爾夫球的決策樹...