隨機森林 random forest

2021-08-01 18:34:04 字數 528 閱讀 7091

隨機森林是一種整合學習方法(ensemble learning),用於對資料進行分類

隨機森林的分類結果由眾多分類器的分類結果表決而得到

隨機森林的每個子分類器是決策樹(decision tree)

隨機森林一般按以下幾個步驟來構造:

第一步,假設我們的高光譜資料報含n個樣本,則我們隨機地有放回地抽取n次樣本,組成乙個新的含有n個樣本的資料集。

第二步,假設資料報含m個特徵,當我們在進行決策樹的乙個節點的**的時候,隨機從m個特徵中選取m個特徵(其中 m≤

m ),然後根據某種規則(比如說資訊增益)來選出最有利於分類的那個特徵來進行節點的**。

第三步,決策樹的每個節點都要按照第二步進行節點的**,直到無法再繼續**為止。(當選出的那個特徵已經存在於它的父節點中時,就無法繼續**了)

第四步,重複上面的三步,構造出大量的決策樹,形成隨機森林,分類結果由這些決策樹共同決定。

隨機森林的特點主要在於:

樣本的隨機選擇、特徵的屬性選擇,引入這些隨機性之後,可以有效提高泛化能力,減小過擬合現象

隨機森林隨機 三

2018年7月22日 陣雨 感冒發燒喉嚨疼,只因為一杯正常冰的奶蓋!以後得少喝加冰的東西了.前面說的是整合學習的兩種形式,這跟隨機森林有啥關係呢?隨機森林是bagging的乙個擴充套件變體.簡單的來說,當bagging演算法中的base learner為決策樹並在訓練決策樹的過程中加入隨機屬性選擇,...

隨機森林演算法

random forest是加州大學伯克利分校的breiman leo和adele cutler於2001年發表的 中提到的新的機器學習演算法,可以用來做分類,聚類,回歸,和生存分析,這裡只簡單介紹該演算法在分類上的應用。random forest 隨機森林 演算法是通過訓練多個決策樹,生成模型,然...

理解隨機森林

理解隨機森林 隨機森林利用隨機的方式將許多決策樹組合成乙個森林,每個決策樹在分類的時候投票決定測試樣本的最終類別。下面我們再詳細說一下隨機森林是如何構建的。隨機森林主要包括4個部分 隨機選擇樣本 隨機選擇特徵 構建決策樹 隨機森林投票分類。給定乙個訓練樣本集,數量為n,我們使用有放回取樣到n個樣本,...