決策樹(decision tree) 是一種基本的分類與回歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分布。其主要優點是模型具有可讀性，分類速度快。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型。**時，對新的資料，利用決策樹模型進行分類。決策樹學習通常包括3 個步驟：特徵選擇、決策樹的生成和決策樹的修剪。這些決策樹學習的思想主要**於由quinlan在2023年提出的id3演算法和2023年提出的c4.5演算法，以及由breiman等人在2023年提出的cart演算法。
本章首先介紹決策樹的基本概念，然後通過id3和c4.5介紹特徵的選擇、決策樹的生成以及決策樹的修剪，最後介紹cart 演算法。
——黎明傳數
統計學習方法 李航 第12章 統計學習方法總結
分類問題是從例項的特徵向量到類標記的 問題 標註問題 是從觀測序列到標記序列 或狀態序列 的 問題。可以認為分類問題是標註 問題的特殊情況。分類問題中可能的 結果是二類或多類 而標註問題中可能 的 結果是所有的標記序列，其數目是指數級的。感知機 k近鄰法 樸素貝葉斯法 決策樹是簡單的分類方法，具有模...
統計學習方法概論 《統計學習方法》李航著
統計學習由 監督學習，非監督學習，半監督學習和強化學習組成。監督學習方法主要包括 分類 標註 與 回歸問題 回歸問題 輸入變數 和 輸出變數 均為連續變數的 問題 分類問題 輸出變數為有限個離散變數的 問題 標註問題 輸入與輸出變數均為變數序列的 問題 統計學習三要素 模型，策略，演算法 損失函式度...
統計學習方法 李航（第8章 提公升方法筆記
這一章主要講boosting提公升方法，代表方法是adaboost演算法，我會從演算法的本質去解釋演算法，盡量用簡單的語言其描述，具體推導過程參考原文。提公升方法就是從弱學習演算法出發，反覆學習，得到一系列弱分類器 又稱為基本分類器 然後組合這些弱分類器，構成乙個強分類器。一 提公升方法adaboo...