random forest是加州大學伯克利分校的breiman leo和adele cutler於2023年發表的**中提到的新的機器學習演算法，可以用來做分類，聚類，回歸，和生存分析，這裡只簡單介紹該演算法在分類上的應用。
random forest（隨機森林）演算法是通過訓練多個決策樹，生成模型，然後綜合利用多個決策樹進行分類。
隨機森林演算法只需要兩個引數：構建的決策樹的個數t，在決策樹的每個節點進行**時需要考慮的輸入特徵的個數m。
1. 單棵決策樹的構建：
（1）令n為訓練樣例的個數，則單棵決策樹的輸入樣例的個數為n個從訓練集中有放回的隨機抽取n個訓練樣例。
（2）令訓練樣例的輸入特徵的個數為m，切m遠遠小於m，則我們在每顆決策樹的每個節點上進行**時，從m個輸入特徵裡隨機選擇m個輸入特徵，然後從這m個輸入特徵裡選擇乙個最好的進行**。m在構建決策樹的過程中不會改變。
（3）每棵樹都一直這樣**下去，直到該節點的所有訓練樣例都屬於同一類。不需要剪枝。
《機器學習技法》第十講 Random Forest
bagging 通過平均來降低變化量。decision tree 對不同的資料敏感，變化量大。aggregation of aggregation 用bagging的方式把一堆decision tree結合起來。1 並行化 高效 2 繼承cart的優點 3 消除完全生長cart的overfit缺點 ...
機器學習 初識機器學習
1.什麼是機器學習？對於機器學習到現在都還沒有統一的定義，但是，通過乙個例子和較權威的定義來理解機器學習，最後附上我個人對機器學習的理解 2.監督學習 1 監督學習基本思想 我們資料集中的每個樣本都有相應的 正確答案 即每個樣本都是真實值，再根據這些樣本作出 舉乙個房價預售的例子來說明 eg 下面圖...
機器學習 機器學習目錄
注 後期有時間的話會對每乙個演算法進行講解。1 普通線性回歸 2 廣義線性模型 3 邏輯回歸 4 線性判定分析1 決策樹基本原理與構建 2 cart演算法 3 回歸決策樹 4 分類決策樹1 貝葉斯定理與樸素貝葉斯 2 高斯貝葉斯分類器 3 多項式貝葉斯分類器 4 伯努利貝葉斯分類器 5 遞增式學習1...