svm 為什麼要從原始問題變為對偶問題來求解
首先是我們有不等式約束方程,這就需要我們寫成min max的形式來得到最優解。而這種寫成這種形式對x不能求導,這種形式只能對a求導,所以我們需要轉換成max min的形式,這時候,x就在裡面了,這樣就能對x求導了。而為了滿足這種對偶變換成立,就需要滿足kkt條件(kkt條件是原問題與對偶問題等價的必要條件,當原問題是凸優化問題時,變為充要條件)。
. 對偶問題將原始問題中的約束轉為了對偶問題中的等式約束
方便核函式的引入
改變了問題的複雜度。由求特徵向量w轉化為求比例係數a,在原始問題下,求解的複雜度與樣本的維度有關,即w的維度。在對偶問題下,只與樣本數量有關。
為什麼要將連續特徵離散化
在工業界,很少直接將連續值作為邏輯回歸模型的特徵輸入,而是將連續特徵離散化為一系列0 1特徵交給邏輯回歸模型,這樣做的優勢有以下幾點 0.離散特徵的增加和減少都很容易,易於模型的快速迭代 1.稀疏向量內積乘法運算速度快,計算結果方便儲存,容易擴充套件 2.離散化後的特徵對異常資料有很強的魯棒性 比如...
SVM為什麼需要核函式
生存?還是毀滅?哈姆雷特 可分?還是不可分?支援向量機 之前一直在討論的線性分類器,器如其名 汗,這是什麼說法啊 只能對線性可分的樣本做處理。如果提供的樣本線性不可分,結果很簡單,線性分類器的求解程式會無限迴圈,永遠也解不出來。這必然使得它的適用範圍大大縮小,而它的很多優點我們實在不原意放棄,怎麼辦...
機器學習模型為什麼要將特徵離散化
在學習機器學習中,看過挺多案例,看到很多人在處理資料的時候,經常把連續性特徵離散化。為此挺好奇,為什麼要這麼做,什麼情況下才要做呢。一 離散化原因 資料離散化是指將連續的資料進行分段,使其變為一段段離散化的區間。分段的原則有基於等距離 等頻率或優化的方法。資料離散化的原因主要有以下幾點 1 演算法需...