整合學習方法之隨機森林

2022-07-21 18:00:22 字數 1114 閱讀 9402

整合學習通過建立幾個模型組合的來解決單一**問題。它的工作原理是生成多個分類器/模型,各自獨立地學習和作出**。這些**最後結合成組合**,因此優於任何乙個單分類的做出**。

在機器學習中,隨機森林是乙個包含多個決策樹的分類器,並且其輸出的類別是由個別樹輸出的類別的眾數而定。

例如, 如果你訓練了5個樹, 其中有4個樹的結果是true, 1個數的結果是false, 那麼最終投票結果就是true

學習演算法根據下列演算法而建造每棵樹:

採取bootstrap抽樣

為什麼要有放回地抽樣?

bootstrap:boolean,optional(default = true)是否在構建樹時使用放回抽樣

min_samples_split:節點劃分最少樣本數

min_samples_leaf:葉子節點的最小樣本數

超引數:n_estimator, max_depth, min_samples_split,min_samples_leaf

# 隨機森林去進行**

rf = randomforestclassifier()

param =

# 超引數調優

gc = gridsearchcv(rf, param_grid=param, cv=2)

gc.fit(x_train, y_train)

print("隨機森林**的準確率為:", gc.score(x_test, y_test))

1、估計器的工作流程是什麼?

答案:第一步: 例項化估計器

第二步: 呼叫估計器的fit函式, 用訓練集的特徵值和目標值訓練

第三步: 呼叫**函式predict, 用測試集的特徵值**

2、決策樹的劃分依據是什麼?(課程介紹的主要方法)

答案: 更具資訊增益最大的屬性劃分.

整合學習 隨機森林

隨機森林 random forest,簡稱rf 是bagging的乙個擴充套件變體。bagging在1996年由beriman提出,作為並行式整合學習方法中最著名的代表,利用自助取樣法。可取樣出t個含m個訓練樣本的取樣集,然後基於每個取樣集訓練出乙個基學習器,再將這些基學習器進行結合。這就是bagg...

整合學習 隨機森林

bagging就是bootstrapaggregating,自舉匯聚法,亦稱為裝袋法。與boosting的不同 個人理解 由於bagging的每個分類器是同階的,則有 e d e 1n i 1ne di e di 偏差.v ar v ar 1 n i 1nva r di 1 nvar di 方 差e...

整合學習 隨機森林

用多個模型來解決乙個問題,就是整合 怎麼樣得到乙個好的整合?需要個體盡可能的精確,而且它們的差異性,多樣性盡可能的大 按整合中個體的生成方式來說,可以分為兩大方法 一棵樹是決策樹,多棵樹是隨機森林,解決了決策樹泛化能力弱的缺點。因為決策樹是一棵樹,它是有乙個決策的可能性,如果是多棵樹,每棵樹都有乙個...