LR和SVM 線性回歸的聯絡與區別

lr和svm的聯絡：

都是監督的分類演算法

都是線性分類方法 (不考慮核函式時）

都是判別模型 

判別模型和生成模型是兩個相對應的模型。 

判別模型是直接生成乙個表示或者的判別函式（或**模型） 

生成模型是先計算聯合概率分布然後通過貝葉斯公式轉化為條件概率。 

svm和lr，knn，決策樹都是判別模型，而樸素貝葉斯，隱馬爾可夫模型是生成模型。 

lr和svm的不同

1、損失函式的不同

lr是cross entropy

svm的損失函式是最大化間隔距離

​邏輯回歸方法基於概率理論，假設樣本為1的概率可以用sigmoid函式來表示，然後通過極大似然估計的方法估計出引數的值

支援向量機​基於幾何間隔最大化原理，認為存在最大幾何間隔的分類面為最優分類面

2、svm不能產生概率，lr可以產生概率

lr本身就是基於概率的，所以它產生的結果代表了分成某一類的概率，而svm則因為優化的目標不含有概率因素，所以其不能直接產生概率。

3、svm自帶結構風險最小化，lr則是經驗風險最小化

在假設空間、損失函式和訓練集確定的情況下，經驗風險最小化即最小化損失函式

結構最小化是為了防止過擬合，在經驗風險的基礎上加上表示模型複雜度的正則項

4、svm會用核函式而lr一般不用核函式

svm轉化為對偶問題後，分類只需要計算與少數幾個支援向量的距離，這個在進行複雜核函式計算時優勢很明顯，能夠大大簡化模型和計算量。 而lr則每個點都需要兩兩計算核函式，計算量太過龐大

5、lr和svm在實際應用的區別

6、svm的處理方法是只考慮support vectors，也就是和分類最相關的少數點，去學習分類器。而邏輯回歸通過非線性對映，大大減小了離分類平面較遠的點的權重，相對提公升了與分類最相關的資料點的權重。

參考：

LR和SVM 線性回歸的聯絡與區別

lr和svm的聯絡 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示p y x p y x 或者y f x y f x 的判別函式 或 模型 生成模型是先計算聯合概率分布p y x p y,x 然後通過貝葉斯公式轉化為條件概率。svm和...

總結 LR 與 SVM 以及 線性回歸的區別與聯絡

lr 與 svm 的聯絡與區別 相同點 lr 與 svm 都是分類演算法 lr 與 svm 都是監督學習演算法 lr 與 svm 都是判別模型 關於判別模型與生成模型的詳細概念與理解，筆者會在下篇博文給出，這裡不詳述。如果不考慮核函式，lr 與 svm 都是線性分類演算法，也就是說他們的分類決策面都...

SVM與LR（邏輯回歸）的區別和聯絡

svm與lr 邏輯回歸 的區別和聯絡 區別 1 svm是非引數估計，本質上是解決二次規劃問題 lr是引數估計，本質上是乙個極大似然估計問題。2 svm被稱為結構風險最小化，也就是讓模型的泛化能力盡可能好 lr被稱為經驗風險最小化，也就是最小化分類誤差。3 svm中使用的分類損失函式是合頁損失函式 l...