原文：
在大大小小的面試過程中，多次被問及這個問題：「請說一下邏輯回歸（lr）和支援向量機（svm）之間的相同點和不同點」。第一次被問到這個問題的時候，含含糊糊地說了一些，大多不在點子上，後來被問得多了，慢慢也就理解得更清楚了，所以現在整理一下，希望對以後面試機器學習方向的同學有所幫助（至少可以瞎扯幾句，而不至於啞口無言ha(*＾-＾*)）。
回答這個問題其實就是回答lr和svm有什麼相同點。
第一，lr和svm都是分類演算法。
看到這裡很多人就不會認同了，因為在很大一部分人眼裡，lr是回歸演算法。我是非常不贊同這一點的，因為我認為判斷乙個演算法是分類還是回歸演算法的唯一標準就是樣本label的型別，如果label是離散的，就是分類演算法，如果label是連續的，就是回歸演算法。很明顯，lr的訓練資料的label是「0或者1」，當然是分類演算法。其實這樣不重要啦，暫且遷就我認為他是分類演算法吧，再說了，svm也可以回歸用呢。
第二，如果不考慮核函式，lr和svm都是線性分類演算法，也就是說他們的分類決策面都是線性的。
這裡要先說明一點，那就是lr也是可以用核函式的，至於為什麼通常在svm中運用核函式而不在lr中運用，後面講到他們之間區別的時候會重點分析。總之，原始的lr和svm都是線性分類器，這也是為什麼通常沒人問你決策樹和lr什麼區別，決策樹和svm什麼區別，你說乙個非線性分類器和乙個線性分類器有什麼區別？
第三，lr和svm都是監督學習演算法。
這個就不贅述什麼是監督學習，什麼是半監督學習，什麼是非監督學習了。
第四，lr和svm都是判別模型。
判別模型會生成乙個表示p(y|x)的判別函式（或**模型），而生成模型先計算聯合概率p(y,x)然後通過貝葉斯公式轉化為條件概率。簡單來說，在計算判別模型時，不會計算聯合概率，而在計算生成模型時，必須先計算聯合概率。或者這樣理解：生成演算法嘗試去找到底這個資料是怎麼生成的（產生的），然後再對乙個訊號進行分類。基於你的生成假設，那麼那個類別最有可能產生這個訊號，這個訊號就屬於那個類別。判別模型不關心資料是怎麼生成的，它只關心訊號之間的差別，然後用差別來簡單對給定的乙個訊號進行分類。常見的判別模型有：knn、svm、lr，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。當然，這也是為什麼很少有人問你樸素貝葉斯和lr以及樸素貝葉斯和svm有什麼區別（哈哈，廢話是不是太多）。
第五，lr和svm在學術界和工業界都廣為人知並且應用廣泛。
講完了lr和svm的相同點，你是不是也認為有必要將他們進行比較一下了呢？而且比較lr和svm，是不是比讓你比較決策樹和lr、決策樹和svm、樸素貝葉斯和lr、樸素貝葉斯和svm更能考察你的功底呢？
第一，本質上是其loss function不同。
邏輯回歸的損失函式
支援向量機的目標函式
不同的loss function代表了不同的假設前提，也就代表了不同的分類原理，也就代表了一切！！！簡單來說，邏輯回歸方法基於概率理論，假設樣本為1的概率可以用sigmoid函式來表示，然後通過極大似然估計的方法估計出引數的值，具體細節參考支援向量機基於幾何間隔最大化原理，認為存在最大幾何間隔的分類面為最優分類面，具體細節參考
第二，支援向量機只考慮區域性的邊界線附近的點，而邏輯回歸考慮全域性（遠離的點對邊界線的確定也起作用）。
當你讀完上面兩個**的內容，深入了解了lr和svm的原理過後，會發現影響svm決策面的樣本點只有少數的結構支援向量，當在支援向量外新增或減少任何樣本點對分類決策面沒有任何影響；而在lr中，每個樣本點都會影響決策面的結果。用下圖進行說明：
支援向量機改變非支援向量樣本並不會引起決策面的變化
邏輯回歸中改變任何樣本都會引起決策面的變化
理解了這一點，有可能你會問，然後呢？有什麼用呢？有什麼意義嗎？對使用兩種演算法有什麼幫助麼？一句話回答：
因為上面的原因，得知：線性svm不直接依賴於資料分布，分類平面不受一類點影響；lr則受所有資料點的影響，如果資料不同類別strongly unbalance，一般需要先對資料做balancing。（引自
第三，在解決非線性問題時，支援向量機採用核函式的機制，而lr通常不採用核函式的方法。
這個問題理解起來非常簡單。分類模型的結果就是計算決策面，模型訓練的過程就是決策面的計算過程。通過上面的第二點不同點可以了解，在計算決策麵時，svm演算法裡只有少數幾個代表支援向量的樣本參與了計算，也就是只有少數幾個樣本需要參與核計算（即kernal machine解的係數是稀疏的）。然而，lr演算法裡，每個樣本點都必須參與決策面的計算過程，也就是說，假設我們在lr裡也運用核函式的原理，那麼每個樣本點都必須參與核計算，這帶來的計算複雜度是相當高的。所以，在具體應用時，lr很少運用核函式機制。
第四，線性svm依賴資料表達的距離測度，所以需要對資料先做normalization，lr不受其影響。（引自
乙個機遇概率，乙個機遇距離！
第五，svm的損失函式就自帶正則！！！（損失函式中的1/2||w||^2項），這就是為什麼svm是結構風險最小化演算法的原因！！！而lr必須另外在損失函式上新增正則項！！！
以前一直不理解為什麼svm叫做結構風險最小化演算法，所謂結構風險最小化，意思就是在訓練誤差和模型複雜度之間尋求平衡，防止過擬合，從而達到真實誤差的最小化。未達到結構風險最小化的目的，最常用的方法就是新增正則項，後面的部落格我會具體分析各種正則因子的不同，這裡就不扯遠了。但是，你發現沒，svm的目標函式裡居然自帶正則項！！！再看一下上面提到過的svm目標函式：
svm目標函式
有木有，那不就是l2正則項嗎？
發表於 2012 年 10 月 25 日
由 michaeltang
liblinear支援兩個熱門的二元線性分類器：常規邏輯回歸lr和線性svm。給出一組例項標籤（xi,yi）,i=1,...l,xi∈rn，yi∈，這兩個分類器使用了不同的損失演算法解決下面的約束優化問題。其中，c是大於0的懲罰因子。對於svm來說，有兩個常用的損失演算法max（1-yiwtxi,0）和max（1-yiwtxi,0）2，分別指的是l1-svm和l2-svm。對lr來說，損失演算法是log（1+e-yiwtxi）,得自乙個概率模型。在有些案例中，分類器的判別式還要包含乙個偏差項b。liblinear通過對每個例項和緯度加強影響來實現偏差：wt0,如果wtx>0.對於多元例項訓練，我們為之提供了1vrest的策略。
無意間看到上面這段話，想起了那天吃飯的時候乙個同事說他碰到乙個面試題目是： svm 和 lr 的異同，當時思考了一下，之後想起了曾經在學習logistic regression classification model的梯度的時候，推到和乙個簡單的兩層的sigmoid輸出的的梯度是一樣，後來發現神經網路擬合的時候，我們用的是均方誤差的loss function ，而在這個lr 的推倒的時候，我同樣用了均方誤差的loss，因此得到一樣的結果，但是通常在lr的推倒的時候，我們是直接用 最大似然估計的，然後只有當 誤差的分布滿足高斯分布的時候，最大似然的結果才會和最小二乘相同（loss function 為均方誤差）
剛才看到上面的loss function 的形式，想到了cross entropy loss，在網上找到這篇文章印證了這個
不做這個ppt中的lable是0和1，所以和上面的公式有所不同，表達形式沒有那麼漂亮，但是是一樣的，有時間再把這幾個公式整理一下吧。
lr 和 svm本質不同在於loss function的不同，不過想想這幾乎對所有的單層模型都使用，lr的損失函式是 cross entropy loss， adaboost的損失函式是 expotional loss ,svm是hinge loss，常見的回歸模型通常用 均方誤差 loss。
LR與SVM的異同
1.本質上是其loss function不同 邏輯回歸採用的是logistical loss，svm採用的是hinge loss。可以看出，二者的唯一區別就是對於單個資料點，計算損失的方法不同。logistic regression中的log loss 而svm中的hinge loss。可以看出，二...
LR與SVM的異同
在大大小小的面試過程中，多次被問及這個問題 請說一下邏輯回歸 lr 和支援向量機 svm 之間的相同點和不同點 第一次被問到這個問題的時候，含含糊糊地說了一些，大多不在點子上，後來被問得多了，慢慢也就理解得更清楚了，所以現在整理一下，希望對以後面試機器學習方向的同學有所幫助 至少可以瞎扯幾句，而不至...
SVM與LR的異同點
相同點 1 都是監督學習演算法 2 都是分類演算法，都是判別模型 p x y 3 若svm不考慮核函式，都是線性分類演算法，決策面是線性的 不同點 1 測度不同，svm是距離測度，基於幾何間隔最大化作為度量原則 lr是概率測度，計算樣本概率，用極大似然估計計算引數。因此，二者的loss functi...