*********************支援向量機的通俗解釋************************
支援向量機是用來解決分類問題的。
先考慮最簡單的情況,豌豆和公尺粒,用曬子很快可以分開,小顆粒漏下去,大顆粒保留。
用乙個函式來表示就是當直徑d大於某個值d,就判定為豌豆,小於某個值就是公尺粒。
d>d, 豌豆d
但是實際問題沒這麼簡單,考慮的問題不單單是尺寸,乙個花的兩個品種,怎麼分類?
假設決定他們分類的有兩個屬性,花瓣尺寸和顏色。單獨用乙個屬性來分類,像剛才分公尺粒那樣,就不行了。這個時候我們設定兩個值 尺寸x和顏色y.
我們把所有的資料都丟到x-y平面上作為點,按道理如果只有這兩個屬性決定了兩個品種,資料肯定會按兩類聚集在這個二維平面上。
我們只要找到一條直線,把這兩類劃分開來,分類就很容易了,以後遇到乙個資料,就丟進這個平面,看在直線的哪一邊,就是哪一類。
比如x+y-2=0這條直線,我們把資料(x,y)代入,只要認為x+y-2>0的就是a類,x+y-2<0的就是b類。
以此類推,還有三維的,四維的,n維的 屬性的分類,這樣構造的也許就不是直線,而是平面,超平面。
乙個三維的函式分類 :x+y+z-2=0,這就是個分類的平面了。
有時候,分類的那條線不一定是直線,還有可能是曲線,我們通過某些函式來轉換,就可以轉化成剛才的哪種多維的分類問題,這個就是核函式的思想。
例如:分類的函式是個圓形x^2+y^2-4=0。這個時候令x^2=a; y^2=b,還不就變成了a+b-4=0 這種直線問題了。
這就是支援向量機的思想。
機的意思就是 演算法,機器學習領域裡面常常用「機」這個字表示演算法
支援向量意思就是 資料集種的某些點,位置比較特殊,比如剛才提到的x+y-2=0這條直線,直線上面區域x+y-2>0的全是a類,下面的x+y-2<0的全是b類,我們找這條直線的時候,一般就看聚集在一起的兩類資料,他們各自的最邊緣位置的點,也就是最靠近劃分直線的那幾個點,而其他點對這條直線的最終位置的確定起不了作用,所以我姑且叫這些點叫「支援點」(意思就是有用的點),但是在數學上,沒這種說法,數學裡的點,又可以叫向量,比如二維點(x,y)就是二維向量,三維度的就是三維向量( x,y,z)。所以 「支援點」改叫「支援向量」。
未完待續
支援向量機(SVM)
簡介 術語 支援向量機 svm 是乙個類分類器,正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說,給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合,可以進行分割,但是我們不知道分割的函式 超平面,也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...
SVM支援向量機
在機器學習領域,很多時候會用到分類的一些演算法,例如knn,貝葉斯。我們可以把分類的樣本簡單除暴的分為兩種型別。線性可分和非線性可分。可以使用乙個非常簡單的例子來解釋什麼是線性可分,什麼是線性不可分。a 線性可分的2類樣本 b 非線性可分的2類樣 已知乙個線性可分的資料集,其中x表示乙個n維向量,當...