在機器學習中，隨機森林由許多的決策樹組成，因為這些決策樹的形成採用了隨機的方法，因此也叫做隨機決策樹。
隨機森林中的樹之間是沒有關聯的。當測試資料進入隨機森林時，其實就是讓每一顆決策樹進行分類，最後取所以決策樹中分類結果最多的那類為最終的結果。因此隨機森林時乙個包含多個決策樹的分類器，並且其輸出的類別是由個別樹輸出的類別的眾數而定。隨機森林既可以處理屬性為離散值得量，如id3演算法，也可以處理屬性為連續值得量，比如c4.5演算法。另外，隨機森林還可以用來進行無監督學習聚類和異常點檢測。
5.1 理論描述
隨機森林由決策樹組成，決策樹實際上將空間用超平面進行劃分的一種方法，每次分割的時候，都將當前的空間一分為二，如說下面的決策樹，其屬性的值都是連續的實數；如圖1所示；或者將空間劃分圖二所示樣子。
隨機森林比較適合做多分類問題，訓練和**速度快；同時，對訓練資料的容錯能力，是一種有效的估計缺失資料的一種方法，當資料集中有大比例的資料缺失時仍然可以保持精度不變和能夠有效的處理大的資料集；可以處理沒有刪減的成千上萬的變數；能夠在分類的過程中可以生產乙個泛化誤差的內部無偏估計；能夠檢測到特徵之間的相互影響以及重要性程度；不過出現過度擬合；實現簡單容易並行化。
未完待續……
機器學習之決策樹（下）
在決策樹中有乙個很重要的概念就是深度 沒錯決策樹很容易過擬合 從iris來看下所謂的過擬合環境 匯入包import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl fro...
機器學習 決策樹
一 基本概念 決策樹 decision tree 是一種基本的分類與回歸方法。決策樹模型呈樹形結構，在分類問題中，表示屬於特徵對例項進行分類的過程，它可以認為是if then規則的集合，也可以認為是電議在特徵空間與類空空上的條件概率分布，其主要優點是模型具有可讀性，分類速度快。決策樹的學習通常包括3...
機器學習 決策樹
我覺得決策樹是機器學習所有演算法中最可愛的了 沒有那麼多複雜的數學公式哈哈 下圖是一棵決策樹，用來判斷西瓜是好瓜還是壞瓜 決策過程中提出的每個判定問題都是都對某個屬性的測試，每個測試結果要麼推導出最終結論，要麼匯出進一步判斷的問題，在上次決策結果限定的範圍內做進一步判斷。從上圖可以看出，葉節點對應決...