svm 決策樹和隨機森林

2021-10-09 20:58:20 字數 542 閱讀 5036

決策樹隨機森林

scikit-learn 和 tensorflow 裡面的svm講的可以

svm就是從多條可以分割類別的線之間挑一條最好的(離分類兩邊各個點的距離都足夠大),分割線稱為超平面

嚴格的讓所有例項都不在街上,並且位於正確的一邊,需要是線性分類的,對異常值太過敏感

可以允許有部分異常值在街道上

多項式核函式相當於給svm新增了許多多項式的線性函式,但實際實現原理不是這個樣子,讓原來線性的svm分類器,變的不線性了。(非線性)

高斯rbf相當於給svm新增了相似特徵,這些特徵經過相似函式計算得出(非線性)

核技巧即是核函式,svc有核技巧,使用svc可將核函式新增到svm中(也有線性核函式)

svr類是svc類的回歸等價物(支援核函式)

linearsvc是對svm線性的優化。(線性)

sgdclassifier是邏輯回歸的函式按照,隨機梯度下降的方式求參。(線性)

用於一步一步向下判斷然後分類出結果,用於做決定,做選擇。

用於將多個分類器結合,然後多個分類器投票得出最終分類結果。

決策樹和隨機森林

決策樹 建立決策樹的關鍵,是在當前狀態下選擇那個屬性作為分類依據。根據不同的目標函式,建立決策樹主要有三個演算法 id3 iterative dichotomiser c4.5 cart classification and regression tree 資訊增益 當熵和條件熵中的概率由資料統計得...

決策樹和隨機森林

c4.5 cart 2,工具 能夠將dot檔案轉換為pdf png 3,執行命令 缺點 改進 建立10顆決策樹,樣本,特徵大多不一樣 隨機又放回的抽樣 bootstrap boolean,optional default true 是否在構建樹時使用放回抽樣。隨機森林的優點 import panda...

PCA 決策樹 隨機森林

pca是無監督學習 沒有標籤只有特徵也可以做 基於降維後使方差最大使資料分的更大,目標是提取最有價值的資訊。使原始密集的點擴散開好做分類,降低維度後意義需要專家解釋 降維後可以對資料進行保密 可以降低資料冗餘性。協方差表示線性離散度。不希望線性相關資料,用協方差描述。決策樹既可以做分類也可以做回歸分...