在很大一部分人眼裡，lr是回歸演算法。我是非常不贊同這一點的，因為我認為判斷乙個演算法是分類還是回歸演算法的唯一標準就是樣本label的型別，如果label是離散的，就是分類演算法，如果label是連續的，就是回歸演算法。很明顯，lr的訓練資料的label是「0或者1」，當然是分類演算法。其實這樣不重要啦，暫且遷就我認為他是分類演算法吧，再說了，svm也可以回歸用呢。
如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的。
這裡要先說明一點，那就是lr也是可以用核函式的，至於為什麼通常在svm中運用核函式而不在lr中運用，後面講到他們之間區別的時候會重點分析。總之，原始的lr和svm都是線性分類器，這也是為什麼通常沒人問你決策樹和lr什麼區別，決策樹和svm什麼區別，你說乙個非線性分類器和乙個線性分類器有什麼區別？
lr和svm都是監督學習演算法。
lr和svm都是判別模型。
判別模型會生成乙個表示p(y|x)的判別函式（或**模型），而生成模型先計算聯合概率p(y,x)然後通過貝葉斯公式轉化為條件概率。簡單來說，在計算判別模型時，不會計算聯合概率，而在計算生成模型時，必須先計算聯合概率。或者這樣理解：生成演算法嘗試去找到底這個資料是怎麼生成的（產生的），然後再對乙個訊號進行分類。基於你的生成假設，那麼那個類別最有可能產生這個訊號，這個訊號就屬於那個類別。判別模型不關心資料是怎麼生成的，它只關心訊號之間的差別，然後用差別來簡單對給定的乙個訊號進行分類。常見的判別模型有：knn、svm、lr，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。當然，這也是為什麼很少有人問你樸素貝葉斯和lr以及樸素貝葉斯和svm有什麼區別（哈哈，廢話是不是太多）。(θ
)=−1
m(∑i
=1my
(i)l
ogy^
(i)(
x(i)
)+(1
−y(i
))lo
g(1−
y^(i
)))j(θ)=−1m(∑i=1my(i)logy^(i)(x(i))+(1−y(i))log(1−y^(i)))(w
,b,α
)=12
∥w∥2
−∑i=
1nαi
(yi(
wtxi
+b)−
1)l(w,b,α)=12‖w‖2−∑i=1nαi(yi(wtxi+b)−1)
線性 svm 不直接依賴於資料分布，分類平面不受一類點的影響。lr 則受所有資料點的影響, 如果資料不同類別 strongly unbalance， 一般需要先對資料做 balancing。
在解決非線性問題時，svm 採用核函式的機制，而 lr 通常不採用核函式的方法
在計算決策麵時，svm演算法裡只有少數幾個代表支援向量的樣本參與了計算，也就是只有少數幾個樣本需要參與核計算（即kernal machine解的係數是稀疏的）。然而，lr演算法裡，每個樣本點都必須參與決策面的計算過程，也就是說，假設我們在lr裡也運用核函式的原理，那麼每個樣本點都必須參與核計算，這帶來的計算複雜度是相當高的。所以，在具體應用時，lr很少運用核函式機制。
線性 svm 依賴資料表達的距離測度，所以需要先對資料做 normalization, lr 則不受影響。
svm 的損失函式就自帶正則，即12∥
w∥212‖w‖2
, 這就是為什麼svm是結構風險最小化演算法的原因！！！而lr必須另外在損失函式上新增正則項！！！
如果feature的數量比較小，樣本數量一般，不算大也不算小，選用svm+gaussian kernel
如果feature的數量比較小，而樣本數量很多，需要手工新增一些feature變成第一種情況
LR和SVM的區別與聯絡
lr和svm本質不同在於loss function的不同 lr的損失函式是cross entropy loss，svm的損失函式是hinge loss，兩個模型都屬於線性分類器，而且效能相當。區別在於 換用其他的loss函式的話，svm就不再是svm了。正是因為hinge loss的零區域對應的正是...
LR和SVM的聯絡和區別
1 lr和svm都是分類演算法 2 如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的。這裡要先說明一點，那就是lr也是可以用核函式的，至於為什麼通常在svm中運用核函式而不在lr中運用，後面講到他們之間區別的時候會重點分析。總之，原始的lr和svm都是線性分類器，...
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示p y x p y x 或者y f x y f x 的判別函式 或 模型 生成模型是先計算聯合概率分布p y x p y,x 然後通過貝葉斯公式轉化為條件概率。svm和...