LR的優缺點

lr的優缺點

優點一、**結果是界於0和1之間的概率；

二、可以適用於連續性和類別性自變數；

三、容易使用和解釋；

缺點一、對模型中自變數多重共線性較為敏感，例如兩個高度相關自變數同時放入模型，可能導致較弱的乙個自變數回歸符號不符合預期，符號被扭轉。需要利用因子分析或者變數聚類分析等手段來選擇代表性的自變數，以減少候選變數之間的相關性；

二、**結果呈「s」型，因此從log(odds)向概率轉化的過程是非線性的，在兩端隨著log(odds)值的變化，概率變化很小，邊際值太小，slope太小，而中間概率的變化很大，很敏感。導致很多區間的變數變化對目標概率的影響沒有區分度，無法確定閥值。

5、lr和svm

1、lr採用log損失，svm採用合頁損失。

2、lr對異常值敏感，svm對異常值不敏感。

3、在訓練集較小時，svm較適用，而lr需要較多的樣本。

4、lr模型找到的那個超平面，是盡量讓所有點都遠離他，而svm尋找的那個超平面，是只讓最靠近中間分割線的那些點盡量遠離，即只用到那些支援向量的樣本。

5、對非線性問題的處理方式不同，lr主要靠特徵構造，必須組合交叉特徵，特徵離散化。svm也可以這樣，還可以通過kernel。

6、svm 更多的屬於非引數模型，而logistic regression 是引數模型，本質不同。其區別就可以參考引數模型和非參模型的區別

那怎麼根據特徵數量和樣本量來選擇svm和lr模型呢？andrew ng的課程中給出了以下建議：

如果feature的數量很大，跟樣本數量差不多，這時候選用lr或者是linear kernel的svm

如果feature的數量比較小，樣本數量一般，不算大也不算小，選用svm+gaussian kernel

如果feature的數量比較小，而樣本數量很多，需要手工新增一些feature變成第一種情況。(lr和不帶核函式的svm比較類似。)

參考文獻：機器學習演算法系列（3）：邏輯斯諦回歸/