聯絡：
1、都是監督學習的分類演算法
2、當不考慮核函式時，lr和svm都是線性分類模型
3、都是判別模型
區別：1、本質上的不同是loss的不同，也就是分類原理的不同。
lr的目標是最小化模型分布與經驗分布之間的交叉熵
svm的目標是最大化分類間隔
2、svm決策邊界只考慮分介面附近的點，即支援向量，對異常點相對不敏感，lr考慮全體資料，對異常點敏感。
3、svm不能產生概率值，lr能產生概率值
4、svm是結構風險最小化，lr是概率風險最小化。
結構風險最小化是對訓練誤差和模型複雜度之間進行均衡，防止過擬合，減小泛化誤差。為了達到結構風險最小化，最常用的方法是加入正則化項。而svm損失函式的第一項就相當於l2正則化。
lr也可以加入正則化項，但原始損失函式不包含正則化項。lr是最小化模型分布與經驗分布之間的交叉熵。
5、在解決非線性問題時，svm可以引入核函式，lr一般不使用核函式。
svm只考慮決策面附近的點，只有少數點參與核計算。
lr中，如果使用核函式，則全部的樣本點都要參與核計算，計算負責度太高。
機器學習面試 之 LR與SVM
svm lr和svm的區別 lr1.lr的損失函式 2.lr的推導過程 請參考第一題 3.lr如何解決共線性，為什麼深度學習不強調 1 pca等降維方法。因為在原始特徵空間中變數之間相關性大，降維可以去除這種共線性。2 正則化。使用l2或者l1或者l1 l2。3 逐步回歸法。深度學習為什麼不強調？因...
機器學習與智慧型優化系列
機器學習與智慧型優化 機器學習與智慧型優化 之 knn opencv knn 之 使用方法 機器學習與智慧型優化 之 學習有道 上篇 監督學習 機器學習與智慧型優化 之 線性模型 機器學習與智慧型計算 之 最小二乘法 機器學習與智慧型優化 之 規則 決策樹和森林 opencv 決策樹 之 理論準備 ...
機器學習 AdaBoost 原理與推導
adaboost 自適應 增強 boosting系列代表演算法，對同一訓練集訓練出不同的 弱 分類器，然後集合這些弱分類器構成乙個更優效能的 強 分類器 傳統boosting方法存在兩個問題 1.如何調整訓練集的權重分布以訓練出不同的弱分類器 2.如何將各個弱分類器聯合起來組成乙個強分類器 adab...