參考：
1.《統計學習方法》李航
2.邏輯斯蒂回歸是乙個非常經典的二項分類模型，也可以擴充套件為多項分類模型。其在應用於分類時的過程一般如下，對於給定的資料集，首先根據訓練樣本點學習到引數w,b;再對**點分別計算兩類的條件概率，將**點判為概率值較大的一類。
1、線性模型
邏輯斯蒂回歸屬於對數線性模型，那什麼是對數線性模型？首先我們介紹下線性模型。
給定包含d個屬性的變數x=(x1
,x2,
...,
xd),xi
表示在第i個屬性上的取值，線性模型通過學得乙個對屬性分量的線性組合來進行**的函式，即：f(
x)=w
1x1+
w2x2
+⋯+w
dxd+
b
寫成向量形式為：f(
x)=w
tx+b
線性模型形式簡單，易於建模，很多不錯的非線性模型都是以線性模型為基礎，通過層次組合或高維對映形成。此外，向量w作為各分量的權值，可以很直觀地解釋各屬性在模型分類中的重要性，例如：f好
瓜=0.2⋅x色
澤+0.5⋅x根
蒂+0.3⋅x敲
聲 +1
顯然，根蒂對判斷是否為好瓜的影響最大。
當我們給定樣例點(x
,y) ， 若線性模型對給定樣本點的**值f(
x)逼近真實值y時，就形成了線性回歸模型，記為：y=
wtx+
b
線性回歸模型表徵了輸入x與輸出y的一種線性關係，我們還可以定義輸入x與輸出y的函式g(y)的一種線性關係，如：ln
y=wt
x+b
就是一種對數線性回歸，使x與輸出的對數形成線性關係，實際上使用w^tx+b的指數ew
tx+b
來逼近輸出。
考慮一般性，我們記：g(
y)=w
tx+b
其中，g(y)應滿足單調可微的性質。我們將這樣的模型稱為「廣義線性模型」，對數線性模型即g函式取對數函式的情況。
2、邏輯斯蒂回歸模型
開始提到了邏輯斯蒂回歸是一種對數線性模型，也就是說其輸入與輸出的對數函式成線性關係，實際上，它們滿足如下關係：lo
gp(y
=1|x
)p(y
=0|x
)=wt
x+b
關係如何得來的?
根據上面提到的廣義線性模型，對**值的對數函式，需要滿足單調可微的性質，且方便進行二項分類，於是選取了s形曲線sigmoid函式作為g−
(⋅) 函式，如下：y=
11+e
−z圖形如下：
我們將輸入的線性組合代替sigmoid函式中的輸入，得到邏輯斯蒂回歸模型。
邏輯斯蒂回歸模型是如下的條件概率分布：p(
y=1|
x)=1
1+e−
(w⋅x
+b)=
e(w⋅
x+b)
1+e(
w⋅x+
b)p(y=
0|x)
=1−p
(y=1
|x)=
11+e
(w⋅x
+b)
顯然，條件概率分布與曲線是一致的，即當輸入越小時，取正例的概率趨近於0，取反例的概率趨近於1；當輸入越大時，取正例的概率則趨近於1，取反例的概率趨近於0. 記：y
=p(y
=1|x
)
1−y=
p(y=
0|x)
則有：y1
−y=p
(y=1
|x)p
(y=0
|x)=
ew⋅x
+b即：lo
gy1−
y=w⋅
x+b
從而得出關係。這裡我們把lo
gy1−
y=w⋅
x+b 稱作對數機率，表示乙個事件**為正例與反例的比值的對數。
3、模型引數估計
我們得到邏輯斯蒂回歸模型的表示，也即條件概率分布後，需要得到引數w,b的值才能對未知輸入點進行**。
對於邏輯斯蒂回歸模型，一般使用極大似然估計的方法估計模型引數。轉化為對數似然函式後，問題就變成了帶有引數的求似然函式值最大值的最有問題。因為這是屬於無約束優化問題，一般採用梯度下降法、牛頓法、擬牛頓法等方法來進行求解，得到引數估計值w^
,b^ 後，代入條件概率分布公式：p(
y=1|
x)=e
(w^⋅
x+b^
)1+e
(w^⋅
x+b^
)
p(y=
0|x)
=11+
e(w^
⋅x+b
^)即可實現對二項分類的**。
4、多項邏輯斯蒂回歸
二項邏輯斯蒂回歸也可以推廣到多項邏輯斯蒂回歸，從而應用到多類分類問題中。
假設類別集合為，多項邏輯斯蒂回歸模型可以寫作：p(
y=k)
=exp
(wk⋅
x)1+
∑k−1
k=1e
xp(w
k⋅x)
p(y=
k|x)
=11+
∑k−1
k=1e
xp(w
k⋅x)
可以滿足∑k
k=1p
(y=k
|x)=
1
邏輯斯蒂回歸
邏輯斯蒂回歸首先研究的是分類問題，所以我們這裡引入的激勵函式是sigmoid函式，所以邏輯斯蒂回歸也叫sigmoid回歸。當然也叫對數機率回歸。邏輯斯蒂回歸是直接對資料的分類的可能性進行建模，而不是假設資料的分布，這就避免了假設資料分布時不均勻所帶來的問題，所以邏輯斯蒂回歸不但可以 類別，還可以得出...
《機器學習實戰》 邏輯斯蒂回歸《一》
回歸我們知道有線性回歸，線性回歸模型能夠無限的逼近我們的結果。以 x i,yi 為例，通過線性回歸 f x w tx b 表示式，就可以得到我們對yi 的估計值。如何從線性回歸轉換到分類呢？由於線性回歸得到的是連續值，z wtx b z 的範圍 是這樣的乙個連續值無法直接轉換為類別。那怎麼辦？最簡單...
機器學習演算法詳解 邏輯斯蒂回歸模型
邏輯斯蒂回歸模型是一種分類模型，其目的解決分類問題而非回歸問題。logistic回歸是乙個判別模型，直接學習後驗概率分布，其學習演算法可以理解為極大似然估計法。模型分類演算法通過定義乙個分離超平面來分割不同類別的資料，用sigmoid函式作為後驗概率分布函式來對輸入資料進行分類。模型的學習演算法通過...