線性回歸和邏輯回歸常見問題

問題**邏輯回歸常見問題

1.邏輯斯蒂回歸推導

2.簡述一下線性回歸

3.為什麼邏輯斯特回歸中使用最大似然函式求得的引數是最優可能的引數值？

最大似然估計的核心是讓所取樣的樣本出現的概率最大，利用已知的樣本情況，反推使其最有可能發生的模型引數。對於邏輯回歸，樣本已經取樣了，使其發生概率最大才是符合邏輯的。

4.邏輯回歸是線性模型嗎？

5.邏輯回歸做分類的樣本應該滿足什麼分布？

假設資料服從伯努利分布，二項分布就是進行n次伯努利分布，二項分布的期望是np, 方差是npq

6.邏輯回歸輸出的值是0到1之間的值，這個值是真實的概率嗎？

不是，實際上反應的是該點到劃分線的距離，但很多地方會認為它是乙個接近真實概率的值。

7.邏輯回歸與線性回歸的聯絡和區別？

區別：資料假設不同；邏輯回歸用來分類，線性回歸用來**（輸出實質變數）；線性回歸用mle求解引數，線性回歸用最小二乘法來求解（其實這一點也不算區別，線性回歸最小二乘法也是由mle推導來的）。

8.邏輯回歸會發生過擬合嗎？如何解決？

會，原因可能是樣本數量少；資料不規範；特徵數量過多；

解決方法：增加樣本；資料重新清洗；減少特徵數量；減少迭代次數（early stop），適當加大學習率；正則化；融合幾個模型；

9.什麼是特徵離散化和特徵交叉？

特徵離散：當特徵值的大小相加沒有實際意義時，例如年齡，只需要知道年齡段即可，具體的一兩歲差別並不關鍵。還有不同特徵的值之間可能存在較大的數值差別，比如身高和年齡，在類似線性回歸裡直接相加減就不合適。所以需要特徵離散，把連續的特徵離散化，例如，將連續的年齡分為有限的年齡段，然後one-hot。

特徵交叉：可以引入特徵互動，即引入非線性。以離散特徵為例，兩個特徵：年齡和性別，可以組合成年齡_性別的乙個新特徵，比如m_18，f_22等等，然後再對這個特徵做one hot編碼，即可得到新的特徵屬性值。

10.邏輯斯特回歸為什麼要對特徵進行離散化？

問題9中特徵離散的兩個原因。

特徵離散後，便於特徵值的擴充套件，模型的迭代。

離散後的特徵魯棒性強，比如年齡段，當特徵值有偏差時不會產生太大的影響。

11.在邏輯回歸模型中，為什麼常常要做特徵組合（特徵交叉）？

邏輯回歸本質上是個線性模型，線性模型對非線性關係的描述不夠，特徵交叉可以加入非線性表達，增強模型的表達能力。

12.邏輯回歸在訓練的過程當中，如果有很多的特徵高度相關或者說有乙個特徵重複了100遍，會造成怎樣的影響？

13.為什麼邏輯回歸在訓練的過程當中將高度相關的特徵去掉？

14.邏輯回歸最優化過程中如何避免區域性極小值？

15.線性回歸的損失函式裡面為什麼常用平方形式, 而不是1次方，3次方，4次方或者絕對值？

16.邏輯回歸特徵係數的絕對值可以認為是特徵的重要性嗎？

17.如何使用邏輯回歸實現多分類？

邏輯回歸推導

18.邏輯回歸的損失函式為什麼要使用極大似然函式作為損失函式？

19. 邏輯回歸引數歸一化是否對結果有什麼影響嗎？

20.邏輯回歸有哪些優缺點