原文:svm有如下主要幾個特點:
(1)非線性對映是svm方法的理論基礎,svm利用內積核函式代替向高維空間的非線性對映;
(2)對特徵空間劃分的最優超平面是svm的目標,最大化分類邊際的思想是svm方法的核心;
(3)支援向量是svm的訓練結果,在svm分類決策中起決定作用的是支援向量;
(4)svm 是一種有堅實理論基礎的新穎的小樣本學習方法。
它基本上不涉及概率測度及大數定律等,因此不同於現有的統計方法。
從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的「轉導推理」,
大大簡化了通常的分類和回歸等問題;
(5)svm 的最終決策函式只由少數的支援向量所確定,計算的複雜性取決於支援向量的數目,
而不是樣本空間的維數,這在某種意義上避免了「維數災難」。
(6)少數支援向量決定了最終結果,這不但可以幫助我們抓住關鍵樣本、「剔除」大量冗餘樣本,
而且注定了該方法不但演算法簡單,而且具有較好的「魯棒」性。
這種「魯棒」性主要體現在:
①增、刪非支援向量樣本對模型沒有影響;
②支援向量樣本集具有一定的魯棒性;
③有些成功的應用中,svm 方法對核的選取不敏感
兩個不足:
(1) svm演算法對大規模訓練樣本難以實施
由於svm是借助二次規劃來求解支援向量,
而求解二次規劃將涉及m階矩陣的計算(m為樣本的個數),當m數目很大時該矩陣的儲存和計算
將耗費大量的機器記憶體和運算時間。
針對以上問題的主要改進有
j.platt的smo演算法、
t.joachims的svm、
c.j.c.burges等的pcgc、
張學工的csvm
以及o.l.mangasarian等的sor演算法
(2) 用svm解決多分類問題存在困難
經典的支援向量機演算法只給出了二類分類的演算法,
而在資料探勘的實際應用中,一般要解決多類的分類問題。
可以通過多個二類支援向量機的組合來解決。
主要有一對多組合模式、一對一組合模式和svm決策樹;
再就是通過構造多個分類器的組合來解決。
主要原理是克服svm固有的缺點,結合其他演算法的優勢,解決多類問題的分類精度。
如:與粗集理論結合,形成一種優勢互補的多類問題的組合分類器。
神經網路和支援向量機的優缺點!
優點 神經網路有很強的非線性擬合能力,可對映任意複雜的非線性關係,而且學習規則簡單,便於計算機實現。具有很強的魯棒性 記憶能力 非線性對映能力以及強大的自學習能力,因此有很大的應用市場。缺點 1 最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。2 不能向使用者提出必要的詢問,而且當資料不充分的時...
支援向量機專題 線性支援向量機
原文 當資料線性不可分時,使用硬間隔支援向量機很難得到理想的結果。但是如果資料近似線性可分,可以採用軟間隔支援向量機 線性支援向量機 進行分類。這通常適用於有少量異常樣本的分類,如果使用線性支援向量機,它會盡量使得所有訓練樣本都正確,如下圖所示。顯然這並不是最好的結果,軟間隔支援向量機可以權衡 間隔...
支援向量機
支援向量機 svm 一種專門研究有限樣本 的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎,而是建立在結構風險最小化原理的基礎之上,發展成為一種新型的結構化學習方法。結構風險最小歸納原理 解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的...