svm相關知識

2021-10-08 10:28:00 字數 1528 閱讀 4822

1.svm是一種二分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。

2.支援向量機對噪音的敏感程度

當有少量噪音,噪音沒有成為支援向量時,噪音對模型不產生影響,具有很好的魯棒性

當有大量噪音,且噪音成為了支援向量,噪音對模型會有顛覆性的影響,不具備魯棒性

3.svm核函式意義、種類

意義:原始樣本空間中可能不存在這樣可以將樣本正確分為兩類的超平面,但是我們知道如果原始空間的維數是有限的,也就是說屬性數是有限的,則一定存在乙個高維特徵空間能夠將樣本劃分。svm通過核函式將輸入空間對映到高維特徵空間,最終在高維特徵空間中構造出最優分離超平面,從而把平面上本身無法線性可分的資料分開。核函式的真正意義是做到了沒有真正對映到高維空間卻達到了對映的作用,即減少了大量的對映計算。

種類:線性核

多項式核

高斯核sigmoid核函式

4.svm在大資料上有哪些缺陷

svm的空間消耗主要是在儲存訓練樣本和核矩陣,由於svm是借助二次規劃來求解支援向量,而求解二次規劃將涉及m階矩陣的計算(m為樣本的個數),當m數目很大時該矩陣的儲存和計算將耗費大量的及其記憶體和運算時間。如果資料量很大,svm的訓練時間就會比較長,所以svm在大資料的使用中比較受限。

5.svm之防止過擬合以及如何調節懲罰因子c

調小懲罰因子c,至於c大小的具體調參通常可以採用交叉驗證來獲得。每個鬆弛變數對應的懲罰因子可以不一樣。

6.svm中資料不均衡的處理方法

當正負類數量不均時,比如正負類數量比為100:1,則懲罰因子的比例直接就定為1:100(libsvm中就是這麼做的)

7.svm優缺點

優點:1.非線性對映是svm方法的理論基礎,svm利用內積核函式代替向高維空間的非線性對映;

2.對特徵空間劃分的最優超平面是svm的目標,最大化分類邊際的思想是svm方法的核心;

3.支援向量是svm的訓練結果,在svm分類決策中起決定作用的是支援向量;

4.svm 的最終決策函式只由少數的支援向量所確定,計算的複雜性取決於支援向量的數目,而不是樣本空間的維數,這在某種意義上避免了「維數災難」。

5.小樣本集上分類效果通常比較好。

6.少數支援向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、「剔除」大量冗餘樣本,而且注定了該方法不但演算法簡單,而且具有較好的「魯棒」性。

7.svm 是一種有堅實理論基礎的小樣本學習方法。它基本上不涉及概率測度及大數定律等,因此不同於現有的統計方法。從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的「轉導推理」,大大簡化了通常的分類和回歸等問題。

缺點:1.svm演算法對大規模訓練樣本難以實施。

2.用svm解決多分類問題存在困難。傳統的svm就是解決二分類問題的,上面有介紹不少解決多分類問題的svm技巧,不過各種方法都一定程度上的缺陷。

3.對缺失值敏感,核函式的選擇與調參比較複雜

SVM相關知識點

svm目錄索引 線性可分 svm 硬間隔最大化 線性 svm 軟間隔最大化 非線性 svm 核技巧 x z k x,z x y 2 序列最小最優化演算法 smo 特點 優點 依賴的支援向量少,模型精緻 訓練完成後,速度非常快 只受邊界點影響,對高緯資料效果也很好 與核函式結合極具通用性 可表示為凸優...

機器學習知識點相關總結(四) SVM相關

機器學習知識點相關總結 一 基礎 機器學習知識點相關總結 二 決策樹相關 機器學習知識點相關總結 三 lr相關 機器學習知識點相關總結 四 svm相關 機器學習知識點相關總結 五 cnn相關 機器學習知識點相關總結 六 rnn,lstm相關 機器學習知識點相關總結 七 k means相關 1.講一下...

SVM相關問題

應聘資料探勘工程師或機器學習工程師,面試官經常會考量面試者對svm的理解。以下是我自己在準備面試過程中,基於個人理解,總結的一些svm面試常考問題 想到會再更新 如有錯漏,請批評指正。大神請忽視 svm的原理是什麼?svm是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性...