機器學習 支援向量機

2021-08-20 01:11:23 字數 687 閱讀 5188

線性可分支援向量機:

1.回顧感知機模型

2.函式間隔與幾何間隔

3. 支援向量

4. svm模型目標函式與優化

5. 線性可分svm的演算法過程

線性可分支援向量機:

1.軟間隔最大化

2.線性分類svm的軟間隔最大化目標函式的優化

3. 軟間隔最大化時的支援向量

4. 軟間隔最大化的線性可分svm的演算法過程

5. 合頁損失函式

線性不可分支援向量機:

1.核函式的引入

1.1.線性核函式

1.2.多項式核函式

1.3.高斯核函式

1.4.sigmoid核函式

2.分類svm的演算法小結

線性支援回歸:

1. svm回歸模型的損失函式度量

2. svm回歸模型的目標函式的原始形式

3. svm回歸模型的目標函式的對偶形式

4. svm回歸模型係數的稀疏性

5. svm 演算法小結

scikit-learn svm演算法庫使用概述:

1.分類演算法庫

1.1.linearsvc 

1.2.svc

1.3.nusvc

2.回歸演算法庫

2.1.linearsvr 

2.2.svr

2.3.nusvr

機器學習 支援向量機

svm就是試圖把棍放在最佳位置,好讓在棍的兩邊有盡可能大的間隙。這個間隙就是球到棍的距離。這裡我們看到兩種不同顏色的小球 我們找到乙個棍子放在其中,把他們分割開來,但是僅僅是這麼簡單嘛,不不,我們還要考慮怎麼放這根棍子,能夠分開這兩種小球的棍子在中間有無數種方法哪種最好呢?保證決策面方向不變且不會出...

機器學習 支援向量機 SVM

svm 方法的基本思想是 定義最優線性超平面,並把尋找最優線性超平面的演算法歸結為求解乙個凸規劃問題。進而基於 mercer 核展開定理,通過非線性對映 把樣本空間對映到乙個高維乃至於無窮維的特徵空間 hilbert 空間 使在特徵空間中可以應用線性學習機的方法解決樣本空間中的高度非線性分類和回歸等...

機器學習 支援向量機(對偶)

上節說到我們把svm抽象成了二次規劃問題 mi n12 2s.t yi txi 1,i 1,2 m我們看看怎麼求解這個問題 拉格朗日乘數法 lagrange multiplier method 是求解等式約束優化問題的一種方法。對於任何的帶等式約束優化問題,都可以寫成 mi nf0 x s.t.hi...