學習SVM過程思考過的問題

2021-07-10 23:26:14 字數 786 閱讀 8939

1、在低維空間和高維空間中遇到線性可分和不可分的問題應該如何解決?

在低維空間中的線性可分問題,可以直接用logistic回歸解,當然也可以用svm(沒有用到核函式或者理解為用了線性核);

在低維空間中的線性不可分問題,用svm解,利用核函式將原(低維)空間對映到高維空間,但計算任然在原空間進行,降低了複雜度(任何乙個低維空間中線性不可分的問題,對映到高維空間之後會更趨向於線性可分),當然也存在高維空間中線性不可分的情況,所以在svm中存在乙個鬆弛變數,這就解決了在高維空間中線性不可分的問題。

2、svm如何解決多類問題?

第一直接法:這種方法對目標函式進行修改,將多個分類超平面的引數求解放到乙個目標函式中,然後對目標函式最優化,直接求解得到多個超平面的引數。這種方法實現複雜,不常用。

第二間接法:通過組合多個二分類器來實現多分類問題,常用的方法有一對一(需要n*(n-1)/2個分類器)、一對多(需要n個二分類器)。

3、svm中涉及的數學方面概念總結

線性函式:即一次函式

凸函式:如果函式二階可導,則結果大於0的才是凸函式,如f(x) = x^2;一種不全面但是簡單的理解方法:開口向上的函式

非線性規劃:給定約束條件和目標函式,求極值問題。其中目標函式和約束條件至少有乙個是非線性的

二次規劃:是一種特殊的非線性規劃,它的目標函式是二次函式,約束條件是線性的

凸規劃:是一種特殊的非線性規劃,它的目標函式是凸函式,比如f(x) = x^2。凸規劃的區域性最優值,一定是全域性最優值

svm最終就是轉化成乙個凸二次規劃(目標函式是二次的、約束條件是線性的)問題求解的

從未思考過的問題

1.用python進行資料視覺化有什麼好處 我蹩腳的回答 有很多現成的庫可以用,比如seaborn,matplotlib,不用自己再造車輪子了 這樣說的缺點 顯得我很圖省事!天哪!回答的太山炮了吧!回來好好想了想,用python進行資料視覺化的好處豈止是這些啊!重,新,說!1 有seaborn,ma...

我的設計思考過程 1

夜已深,我呆坐在凌亂堆著草稿的寫字桌旁邊,和今天鄭州的天氣一樣,我的心裡充滿了大霧。因為我以前也和朋友製作過幾個小的 頁面和功能都很簡單,我對ps dw fw flash等工具也比較熟悉,滿以為很簡單的問題,畢竟是個人的 嘛,也不是多麼複雜的技術,於是11月的時候就開始 的開發工作,那時候一切進行的...

程式即大腦的思考過程

程式即大腦的思考過程 例如 上班這個行為 我們現在住在b點,上班的地點是a點。現在,我們早上起床了,要上班了。搜尋了一下路線,發現可以通過路線c到達公司。那麼,我們的大腦中就形成了乙個資料夾。這就是我們大腦中的圖式,也就是記憶標籤。資料夾的名稱為,上班路線。以後,我們想到上班路線這個事情時,大腦就會...