最近在學svm，簡單的整理下知識
60年代，vapnik提出了vc維理論
平面內只能找到3個點能被直線打散而不找到第4點
簡單的來說就是對於二維分類器，vc維是3，它不能處理異或問題，
也就有結論 ：對於二維分類器，平面內只能找到3個點能被直線打散而找不到第4點
參考：2023年，vapnik提出了結構風險最小化理論
結構風險最小化 = 經驗風險 + 置信風險
經驗風險 = 分類器在給定樣本上的誤差
置信風險 = 分類器在非指定樣本上的誤差 (即：推廣能力的誤差)
以前機器學習目標是降低經驗風險，從而使分類函式複雜，導致vc維度很高，置信風險就越高，
導致結構風險也高，svm是基於vc維理論和結構風險最小化理論之上的，這也是svm比其他機器學習具有優勢的地方
優點：在解決小樣本，非線性及高維模式識別中表現出許多特有的優勢
與問題的複雜度相比，svm演算法要求的樣本相對較少
svm 擅長應對樣本資料線性不可分的難題，主要通過鬆弛變數和核函式技術實現
文字的向量表示，幾萬維，反例如knn難以處理高維資料
帶約束的二次規劃問題，屬於凸優化問題，凸二次規劃有解，且為全域性最優解
等式約束求機智：通過拉格朗日轉化為無約束問題
不等式約束問題：
方法一：用現成的二次規劃優化包進行求解（缺點是效率低）
方法二：求解與原問題等價的對偶問題(dual problem)，得到原始問題的最優解（更易求得，可以推廣到核函式）
拉格朗日乘子法，拉格朗日對偶性，kkt理論支撐
求解步驟：
1.轉化為對偶問題
--對偶轉化 &kkt條件
拉格朗日函式
2.求解w，b極小值
--拉格朗日乘子極值
3.求解a極大值
--用smo演算法求解a乘子
1.非線性特徵對映---核函式
解決問題不可分問題的基本思路：通過核函式將低維度空間特徵對映到高維空間，從而達到線性可分
允許一些點到分類平面的距離不滿足硬性要求
SVM知識點整理（持續更新 ）
1.svm的原理是什麼？svm是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。間隔最大是它有別於感知機 1 當訓練樣本線性可分時，通過硬間隔最大化，學習乙個線性分類器，即線性可分支援向量機 2 當訓練資料近似線性可分時，引入鬆弛變數，通過軟間隔最大化，學習乙個線...
svm 問題整理
答 幾何間隔與樣本的誤分次數間存在關係 其中的分母就是樣本到分類間隔距離，分子中的r是所有樣本中的最長向量值 答 會，超平面會靠近樣本少的類別。因為使用的是軟間隔分類，而如果對所有類別都是使用同樣的懲罰係數，則由於優化目標裡面有最小化懲罰量，所以靠近少數樣本時，其懲罰量會少一些。比如 假設理想的分隔...
svm相關知識
1.svm是一種二分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。2.支援向量機對噪音的敏感程度 當有少量噪音，噪音沒有成為支援向量時，噪音對模型不產生影響，具有很好的魯棒性 當有大量噪音，且噪音成為了支援向量，噪音對模型會有顛覆性的影響，不具備魯棒性 3.svm核函式意...