LR和SVM 線性回歸的聯絡與區別

lr和svm的聯絡：

都是線性分類方法(不考慮核函式時）

都是判別模型

判別模型和生成模型是兩個相對應的模型。 

判別模型是直接生成乙個表示p(y

|x)p(y|x)

或者y=f(

x)y=f(x)

的判別函式（或**模型） 

生成模型是先計算聯合概率分布p(y

,x)p(y,x)

然後通過貝葉斯公式轉化為條件概率。 

svm和lr，knn，決策樹都是判別模型，而樸素貝葉斯，隱馬爾可夫模型是生成模型。 

lr和svm的不同

1、損失函式的不同

lr是cross entropy

svm不能產生概率，lr可以產生概率

@nishizhen：個人感覺邏輯回歸和線性回歸首先都是廣義的線性回歸，

其次經典線性模型的優化目標函式是最小二乘，而邏輯回歸則是似然函式，

另外線性回歸在整個實數域範圍內進行**，敏感度一致，而分類範圍，需要在[0,1]。邏輯回歸就是一種減小**範圍，將**值限定為[0,1]間的一種回歸模型，因而對於這類問題來說，邏輯回歸的魯棒性比線性回歸的要好。

@乖乖癩皮狗：邏輯回歸的模型本質上是乙個線性回歸模型，邏輯回歸都是以線性回歸為理論支援的。但線性回歸模型無法做到sigmoid的非線性形式，sigmoid可以輕鬆處理0/1分類問題。

LR和SVM 線性回歸的聯絡與區別

lr和svm的聯絡 都是監督的分類演算法 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示或者的判別函式 或 模型 生成模型是先計算聯合概率分布然後通過貝葉斯公式轉化為條件概率。svm和lr，knn，決策樹都是判別模型，而樸素貝葉斯，隱...

總結 LR 與 SVM 以及 線性回歸的區別與聯絡

lr 與 svm 的聯絡與區別 相同點 lr 與 svm 都是分類演算法 lr 與 svm 都是監督學習演算法 lr 與 svm 都是判別模型 關於判別模型與生成模型的詳細概念與理解，筆者會在下篇博文給出，這裡不詳述。如果不考慮核函式，lr 與 svm 都是線性分類演算法，也就是說他們的分類決策面都...

SVM與LR（邏輯回歸）的區別和聯絡

svm與lr 邏輯回歸 的區別和聯絡 區別 1 svm是非引數估計，本質上是解決二次規劃問題 lr是引數估計，本質上是乙個極大似然估計問題。2 svm被稱為結構風險最小化，也就是讓模型的泛化能力盡可能好 lr被稱為經驗風險最小化，也就是最小化分類誤差。3 svm中使用的分類損失函式是合頁損失函式 l...