這裡我們需要注意一下：很多部落格將邏輯回歸只寫成線性分類模型，並舉例邏輯回歸的分割超平面是線性的來證明線性關係。我覺得有失妥當。以下為個人觀點：網友們舉例邏輯回歸分割超平面是線性的，其樣本已經不是原來的樣本了，是經過sigmoid函式對映過後的樣本了。邏輯回歸的分割超平面在原樣本空間還是非線性的。按照網友們那種做法，那麼帶有核函式的svm模型也是線性模型了，因為在高維空間我們svm分割超平面總是線性超平面。這裡我覺得只能表達出邏輯回歸和svm本質是線性模型，而不能說他們就是線性模型。(歡迎網友來反駁)
說到底源於sigmoid的最大熵的性質。熵用在概率分布上可以表示這個分布中所包含的不確定度，熵越大不確定度越大。所以，均勻分布熵最大，因為基本新資料是任何值的概率都均等。而我們現在關心的是，給定某些假設之後，熵最大的分布。也就是說這個分布應該在滿足我假設的前提下越均勻越好。比如大家熟知的正態分佈，正是假設已知mean和variance後熵最大的分布。回過來看logistic regression，這裡假設了什麼呢？首先，我們在建模** y|x，並認為 y|x 服從伯努利分布，所以我們只需要知道 p(y|x)；其次我們需要乙個線性模型，所以p(y|x) = f(wx)。接下來我們就只需要知道 f 是什麼就行了。而我們可以通過最大熵原則推出的這個 f，就是sigmoid。可知伯努利分布的指數函式族形式，也即是 1/ (1 + e^-z)
線性回歸要求變數服從正態分佈，logistic回歸對變數分布沒有要求。
適合需要得到乙個分類概率的場景，它的輸出結果不僅可以用於分類，還可以表徵某個樣本屬於某類別的概率
lr對於資料中小雜訊的魯棒性很好，並且不會受到輕微的多重共線性的特別影響。（嚴重的多重共線性則可以使用邏輯回歸結合l2正則化來解決，但是若要得到乙個簡約模型，l2正則化並不是最好的選擇，因為它建立的模型涵蓋了全部的特徵。
容易欠擬合，分類精度不高。
資料特徵有缺失或者特徵空間很大時表現效果並不好。
確定分類決策函式。
線性二分類模型：推導出loss函式：邏輯回歸決策函式是將此線性二分類巢狀乙個sigmoid函式：
我們採用似然函式作為模型更新的loss，不過這裡我們是最大化似然函式，所以嚴格意義來說，最後的優化是「最大化」損失函式：梯度下降(上公升)優化問題這個損失函式很難求導，於是我們將其取log，變成對數似然函式：
sigmoid函式的特殊性質：求梯度：
注意一會兒有
邏輯 logistic 回歸講解以及手推
注意 這裡用的是 可能性 而非數學上的 概率 logisitc回歸的結果並非數學定義中的概率值，不可以直接當做概率值來用。對其求二階導，結果大於0，說明其是凸函式，在用梯度下降法尋優時，可以保證找到全域性最小。很容易可以從sigmoid函式看出，當 tx 0 時，y 1，否則 y 0。tx 0 是模...
邏輯回歸 面試
1.簡介 邏輯回歸是面試當中非常喜歡問到的乙個機器學習演算法，因為表面上看邏輯回歸形式上很簡單，很好掌握，但是一問起來就容易懵逼。所以在面試的時候給大家的第乙個建議不要說自己精通邏輯回歸，非常容易被問倒，從而減分。下面總結了一些平常我在作為面試官面試別人和被別人面試的時候，經常遇到的一些問題。2.正...
邏輯回歸面試題
q1 邏輯回歸的損失函式，為什麼要用這個損失函式 邏輯回歸的損失函式是它的極大似然函式。損失函式一般有四種，平方損失函式，對數損失函式，hingeloss0 1損失函式，絕對值損失函式。將極大似然函式取對數以後等同於對數損失函式。在邏輯回歸這個模型下，對數損失函式的訓練求解引數的速度是比較快的。q2...