q1:邏輯回歸的損失函式,為什麼要用這個損失函式
邏輯回歸的損失函式是它的極大似然函式。損失函式一般有四種,平方損失函式,對數損失函式,hingeloss0-1損失函式,絕對值損失函式。將極大似然函式取對數以後等同於對數損失函式。在邏輯回歸這個模型下,對數損失函式的訓練求解引數的速度是比較快的。
q2:為什麼不選平方損失函式的呢?
其一是因為如果你使用平方損失函式,你會發現梯度更新的速度和sigmod函式本身的梯度是很相關的。sigmod函式在它在定義域內的梯度都不大於0.25。這樣訓練會非常的慢。
q3:邏輯回歸的求解方法
由於該極大似然函式無法直接求解,我們一般通過對該函式進行梯度下降來不斷逼急最優解。在這個地方其實會有個加分的項,考察你對其他優化方法的了解。因為就梯度下降本身來看的話就有隨機梯度下降,批梯度下降,small batch 梯度下降三種方式,面試官可能會問這三種方式的優劣以及如何選擇最合適的梯度下降方式。
q4:邏輯回歸的目的 ?邏輯回歸如何分類?
該函式的目的便是將資料二分類,提高準確率。
邏輯回歸作為乙個回歸(也就是y值是連續的),如何應用到分類上去呢。y值確實是乙個連續的變數。邏輯回歸的做法是劃定乙個閾值,y值大於這個閾值的是一類,y值小於這個閾值的是另外一類。閾值具體如何調整根據實際情況選擇。一般會選擇0.5做為閾值來劃分。
q5:介紹一下邏輯回歸演算法
邏輯回歸假設資料服從伯努利分布,通過極大化似然函式的方法,運用梯度下降來求解引數,來達到將資料二分類的目的。
q6:邏輯回歸在訓練的過程當中,如果有很多的特徵高度相關或者說有乙個特徵重複了100遍,會造成怎樣的影響?
q7為什麼我們還是會在訓練的過程當中將高度相關的特徵去掉?
q8:邏輯回歸的優缺點總結
優點
缺點:
面試問題
機器學習面試題 邏輯回歸
q1 邏輯回歸在訓練的過程當中,如果有很多的特徵高度相關或者說有乙個特徵重複了很多遍,會造成怎樣的影響 如果在損失函式最終收斂的情況下,其實就算有很多特徵高度相關也不會影響分類器的效果。但是對特徵本身來說的話,假設只有乙個特徵,在不考慮取樣的情況下,你現在將它重複 n 遍。訓練以後完以後,資料還是這...
邏輯面試題
1 有兩個桶,乙個能盛5公升水,乙個能盛3公升水,如何用測量出4公升水?2 編寫程式求解 1 2 3 4 5 n 3 20個球,其中乙個比其它的重一點,請用最快的方式找它出來。4 27個運動員在參加完比賽後,口渴難耐,去小店買飲料,飲料店搞 憑三個空瓶可以再換一瓶,他們最買多少瓶飲料才能保證一人一瓶...
資料探勘面試題之邏輯回歸lr
邏輯回歸假設資料服從伯努利分布 0 1 通過極大化似然函式的方法,運用梯度下降來求解引數,來達到將資料二分類的目的。1 去掉高度相關的特徵會讓模型的可解釋性更好 2 可以大大提高訓練的速度。如果模型當中有很多特徵高度相關的話,就算損失函式本身收斂了,但實際上引數是沒有收斂的,這樣會拉低訓練的速度。其...