（1）lr和svm都是分類演算法
（2）如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的。
這裡要先說明一點，那就是lr也是可以用核函式的，至於為什麼通常在svm中運用核函式而不在lr中運用，後面講到他們之間區別的時候會重點分析。總之，原始的lr和svm都是線性分類器，這也是為什麼通常沒人問你決策樹和lr什麼區別，決策樹和svm什麼區別，你說乙個非線性分類器和乙個線性分類器有什麼區別？
（3）lr和svm都是監督學習演算法
（4）lr和svm都是判別模型
（5）lr和svm在學術界和工業界都廣為人知並且應用廣泛
（1）本質上是loss function不同。
不同的loss function代表了不同的假設前提，也就代表了不同的分類原理。lr方法基於概率理論，假設樣本類別為0或者為1的概率可以用sigmoid函式來表示，然後通過極大似然估計的方法估計出引數的值。svm基於幾何間隔最大化原理，認為存在最大幾何間隔的分類面為最優分類面。所以，svm只考慮分離超平面附近的點，而lr考慮所有點（這也是區別之一），svm中，在支援向量之外新增減少任何點都對結果沒有影響，而lr則是每乙個點都會影響決策。
同時可以得出，svm不直接依賴於資料分布，分離超平面不受一類點影響，而lr則是受所有資料的影響（這也是區別之一），所以受資料本身分別影響。
（2）svm不能產生概率，lr可以產生概率。
lr本身就是基於概率的，所以它產生的結果代表了分成某一類的概率，而svm則因為優化的目標不含有概率因素，所以其不能直接產生概率。
（3）svm依賴於資料的測度，而lr則不受影響。
因為svm是基於距離的，而lr是基於概率的，所以lr是不受資料不同維度測度不同的影響，而svm因為要最小化12∣
∣w∣∣
2\frac||w||^2
21∣∣w
∣∣2，所以它依賴於不同維度測度的不同，如果差別較大需要做normalization。當然，如果lr要加上正則化，也需要normalization一下。
（4）svm的損失函式自帶正則項，lr則沒有。
因為svm本身就是最小化12∣
∣w∣∣
2\frac||w||^2
21∣∣w
∣∣2，所以其優化的目標函式本身就含有正則項，即，結構風險最小化，所以不需要加正則項。而lr不加正則化的時候，其優化的目標是經驗風險最小化，所以為了增強模型的泛化能力，通常會在lr損失函式中加入正則化。
（5）在解決非線性問題時，svm採用核函式機制，而lr通常不採用核函式的方法。
分類模型的結果就是計算決策面，模型訓練的過程就是決策面的計算過程。在計算決策面是，svm只有少數幾個代表支援向量的樣本參與了核計算，這個在進行複雜核函式計算時優勢很明顯，能夠大大簡化模型和計算量。而在lr中，每個樣本點都必須參與決策面的計算過程，也就是說，若我們在lr中運用核函式的原理，那麼每個樣本點都必須參與核計算，這帶來的計算複雜度是相當高的。所以，在具體應用時，lr很少運用核函式機制。
（6）svm適用於小規模資料集，lr適合於大規模資料集。
LR 和 SVM 的區別與聯絡
在很大一部分人眼裡，lr是回歸演算法。我是非常不贊同這一點的，因為我認為判斷乙個演算法是分類還是回歸演算法的唯一標準就是樣本label的型別，如果label是離散的，就是分類演算法，如果label是連續的，就是回歸演算法。很明顯，lr的訓練資料的label是 0或者1 當然是分類演算法。其實這樣不重...
LR和SVM的區別與聯絡
lr和svm本質不同在於loss function的不同 lr的損失函式是cross entropy loss，svm的損失函式是hinge loss，兩個模型都屬於線性分類器，而且效能相當。區別在於 換用其他的loss函式的話，svm就不再是svm了。正是因為hinge loss的零區域對應的正是...
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示p y x p y x 或者y f x y f x 的判別函式 或 模型 生成模型是先計算聯合概率分布p y x p y,x 然後通過貝葉斯公式轉化為條件概率。svm和...