1、支援向量機（ svm ）是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則 為了最小化期望風險，應同時最小化經驗風險和置信範圍）
支援向量機方法的基本思想：
（ 1 ）它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化：在對給定的資料逼近的精度與逼近函式的複雜性之間尋求折衷，以期獲得最好的推廣能力；
（ 2 ）它最終解決的是乙個凸二次規劃問題，從理論上說，得到的將是全域性最優解，解決了在神經網路方法中無法避免的區域性極值問題；
（ 3 ）它將實際問題通過非線性變換轉換到高維的特徵空間，在高維空間中構造線性決策函式來實現原空間中的非線性決策函式，巧妙地解決了維數問題，並保證了有較好的推廣能力，而且演算法複雜度與樣本維數無關。
目前， svm 演算法在模式識別、回歸估計、概率密度函式估計等方面都有應用，且演算法在效率與精度上已經超過傳統的學習演算法或與之不相上下。
對於經驗風險r，可以採用不同的損失函式來描述，如e不敏感函式、quadratic函式、huber函式、laplace函式等。
核函式一般有多項式核、高斯徑向基核、指數徑向基核、多隱層感知核、傅利葉級數核、樣條核、 b 樣條核等，雖然一些實驗表明在分類中不同的核函式能夠產生幾乎同樣的結果，但在回歸中，不同的核函式往往對擬合結果有較大的影響
2、支援向量回歸演算法
主要是通過公升維後，在高維空間中構造線性決策函式來實現線性回歸，用e不敏感函式時，其基礎主要是 e 不敏感函式和核函式演算法。
支援向量回歸
支援向量回歸和傳統的回歸模型的區別 就拿最簡單的線性回歸來講，通過模型輸出的f x 與真實輸出的y值之間的差別來計算損失。而svr假設模型輸出f x 與真實的y值之間可以容忍有eps大小的偏差，也就意味只要樣本的 值落在f x 兩側在y軸方向上絕對值只差小於eps的間隔帶上就是 正確的。我們去用乙個...
支援向量機（SVM）
簡介 術語 支援向量機 svm 是乙個類分類器，正式的定義是乙個能夠將不同類樣本在樣本空間分隔的超平面。換句話說，給定一些標記 label 好的訓練樣本 監督式學習 svm演算法輸出乙個最優化的分隔超平面。首先我們假定有乙個未知的欲分類的集合，可以進行分割，但是我們不知道分割的函式 超平面，也叫真實...
支援向量機SVM
支援向量機svm support vector machine 是機器學習領域的乙個有監督的學習模型。一 簡介 支援向量機建立在統計學習理論的基礎之上。統計學習理論 statistical learning theory簡稱slt 是一種處理小樣本的統計理論 為研究有限樣本情況下的統計模式識別和更廣...