lr 與 svm 的聯絡與區別
相同點
lr 與 svm 都是分類演算法；
lr 與 svm 都是監督學習演算法；
lr 與 svm 都是判別模型；
關於判別模型與生成模型的詳細概念與理解，筆者會在下篇博文給出，這裡不詳述。
如果不考慮核函式，lr 與 svm 都是線性分類演算法，也就是說他們的分類決策面都是線性的
這裡需要說明的是，lr 也是可以用核函式的，因在 lr 演算法裡，每個樣本點都必須參與決策面的計算過程，也就是說，如果在 lr 裡也運用核函式的原理，那麼每個樣本點都必須參與核計算，這帶來的計算複雜度是相當高的。所以在具體應用時，lr 很少運用核函式機制。
不同點
損失函式不同；
svm 只考慮支援向量，而 lr 考慮全域性（即遠離的點對邊界線的確定也起作用）；
在解決非線性問題時，svm 採用核函式的機制，而 lr 通常不採用核函式的方法；
svm 的損失函式就自帶正則（損失函式中的12
||w|
|2項），這就是為什麼 svm 是結構風險最小化演算法的原因，而 lr 必須另外在損失函式上新增正則項；
lr是引數模型，svm是非引數模型，本質不同。
在訓練集較小時，svm 較適用，而 lr 需要較多的樣本。
lr 與線性回歸的聯絡與區別
lr 與線性回歸都是廣義的線性回歸；
線性回歸模型的優化目標函式是最小二乘，而 lr 則是似然函式；
線性回歸在整個實數域範圍內進行**，敏感度一致，而分類範圍，需要在[0,1]。邏輯回歸就是一種減小**範圍，將**值限定為[0,1]間的一種回歸模型，因而對於這類問題來說，邏輯回歸的魯棒性比線性回歸的要好。
邏輯回歸的模型本質上是乙個線性回歸模型，邏輯回歸都是以線性回歸為理論支援的。但線性回歸模型無法做到 sigmoid 的非線性形式，sigmoid 可以輕鬆處理 0/1 分類問題。
線性回歸主要做**，lr 主要做分類（如二分類）；
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示p y x p y x 或者y f x y f x 的判別函式 或 模型 生成模型是先計算聯合概率分布p y x p y,x 然後通過貝葉斯公式轉化為條件概率。svm和...
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是監督的分類演算法 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示或者的判別函式 或 模型 生成模型是先計算聯合概率分布然後通過貝葉斯公式轉化為條件概率。svm和lr，knn，決策樹都是判別模型，而樸素貝葉斯，隱...
SVM簡介 SVM與感知機 邏輯回歸LR的區別
硬間隔svm 軟間隔svm 核函式 svm分類超平面的解是唯一的，要滿足間隔最大化 感知機的解不唯一，沒有間隔最大化的約束條件，滿足分開資料點的分介面都是可以的 相同點 第一，lr和svm都是分類演算法。第二，如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的 第三...