SVM系列之一 白話支援向量機(SVM)

2021-09-03 02:44:32 字數 1098 閱讀 8452

初識支援向量機(svm)

我們來玩乙個遊戲:

你大概會這麼放吧:

為了測試你的答案是不是符合要求,我在桌上又放了更加多的藍紅小球,可以發現,乙個紅球被分錯了位置:

支援向量機(svm)可以白話為:試圖找到乙個木棍放置的最佳位置,使得木棍的兩邊有盡可能大的間隙。

看來我出的題目還是太簡單了,下面我給你出個難點兒的問題:桌面上的小球按下圖放置,你肯定不能直接用木棍分開兩種顏色的小球了,要怎麼辦呢?

你可以用力拍桌子,使球飛到空中,然後快速用一張紙插到兩種顏色的球之間。(只是為了便於理解,小孩子請勿模仿233333)

再從桌面的角度看這些小球,它們被完美地用一條曲線分開了。

我們可以定義幾個高大上的名詞,把這些小球叫做資料(data),把棍子叫做分類器(classifier),最大間隙trick叫做優化(optimization), 拍桌子叫做核化(kernelling), 那張紙叫做超平面(hyperplane)。

白話svm原理

假設我們要通過一條線把實心圓圈和空心圓圈分為兩類。

那麼有無數多條線可以完成這個任務。

在svm中,我們尋找一條最優的分界線使得它到兩邊的margin都最大。

在這種情況下邊緣加粗的幾個資料點就叫做support vector,這也是這個分類演算法名字的**。

如下圖所示:

我們還可以將其擴充套件到任意nn維度空間上:

首先在11維到nn維空間中得到了一系列資料點

然後總能在n−1n−1維上找到乙個最優超平面(hyperplane)

什麼是支援向量機(svm)?

下面闡述一下正經概念:

支援向量機(support vector machine,簡稱svm)是cortes和vapnik於2023年首先提出的,它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢,並能夠推廣應用到函式擬合等其他機器學習問題中。

通俗來講,它是一種二分類模型。它不是一種機器,而是一種機器學習演算法。其基本模型定義為特徵空間上的間隔最大的線性分類器,其學習策略便是間隔最大化,最終可轉化為乙個凸二次規劃問題的求解。

後記:在本節,你僅需對svm有個大致的了解,在本系列後續教程中,我們會更加深入討論支援向量機的原理以及應用場景,並配合實驗來加深理解。

支援向量機SVM(一)

支援向量機,因其英文名為support vector machine,故一般簡稱svm,是90年代中期發展起來的基於統計學習理論的一種機器學習方法,它是一種二類分類模型,其基本模型定義為特徵空間上的間隔較大的線性分類器,其學習策略便是間隔較大化,最終可轉化為乙個凸二次規劃問題的求解,從而達到在統計樣...

支援向量機(SVM)

簡介 術語 支援向量機 svm 是乙個類分類器,正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說,給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合,可以進行分割,但是我們不知道分割的函式 超平面,也叫真實...

支援向量機SVM

支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...