logistic分布函式形式：
在該方程式中，x是隨機變數，μ是平均值，s是與標準偏差成比例的比例引數。這個方程我們只需要了解，在邏輯回歸模型中真正用到的是sigmoid函式：
當上式中的μ = 0，s = 1時，即為sigmoid函式:
s (z
)=11
+e(−
z)s(z) = \frac}
s(z)=1
+e(−
z)1
邏輯回歸（logistic regression）是一種用於解決二分類（0 or 1）問題的機器學習方法，用於估計某事件發生的可能性。可以看到，雖然帶有回歸二字，但是邏輯回歸模型是一種分類模型。
邏輯回歸與線性回歸有密不可分的關係：
1.邏輯回歸與線性回歸都是一種廣義線性模型。
2.邏輯回歸假設因變數 y 服從伯努利分布（二項分布），而線性回歸假設因變數 y 服從高斯分布（正態）。
3.如果去除sigmoid對映函式的話，邏輯回歸演算法就是乙個線性回歸。可以說，邏輯回歸是以線性回歸為理論支援的，但是邏輯回歸通過sigmoid函式引入了非線性因素，因此可以輕鬆處理0/1分類問題。
上面介紹了sigmod函式：
s (z
)=11
+e(−
z)s(z) = \frac}
s(z)=1
+e(−
z)1
其影象為：
sigmoid函式又稱s形函式，值域在[0, 1]之間，在距離0比較遠的地方函式的值會無限逼近0或者1。這個性質很適用於解決二分類問題。
定義 （邏輯斯諦回歸模型）:二項邏輯斯諦回歸模型是如下的條件概率分布：
p (y
=1∣x
)=hθ
(x)=
11+e
−(θ⋅
x+b)
p(y = 1 | x) = h_θ(x) = \frac}
p(y=1∣
x)=h
θ(x
)=1+
e−(θ
⋅x+b
)1p(y
=0∣x
)=1−
p(y=
1∣x)
=11+
e(θ⋅
x+b)
p(y = 0 | x) = 1 - p(y = 1 | x) = \frac}
p(y=0∣
x)=1
−p(y
=1∣x
)=1+
e(θ⋅
x+b)
1這裡x ∈r
nx∈r^n
x∈rn
是輸入，y∈0
,1y∈y∈
0,1是輸出，θ∈r
nθ∈r^n
θ∈rn
和b ∈r
b∈rb∈
r是引數。θ稱為權值向量，b稱為偏置，θ⋅x
θ ·x
θ⋅x為θ
θθ 和x
xx的內積。
下面看該模型的乙個特點：
對邏輯斯諦回歸而言，
l og
p(y=
1∣x)
1−p(
y=1∣
x)=θ
⋅x+b
log\frac = θ ·x+b
log1−p
(y=1
∣x)p
(y=1
∣x)
=θ⋅x
+b這一步很好推導，把上面定義中的式子代入，根據對數函式的性質就能求得。
這就是說，在邏輯斯諦回歸模型中，輸出y =1的對數機率是輸入x的線性函式.或者說，輸出y =1的對數機率是由輸入x的線性函式表示的模型，即邏輯斯諦回歸模型。
不同於線性回歸模型的均方誤差損失函式，邏輯回歸模型採用交叉熵作為損失函式：
符號說明：
通俗來講，交叉熵是對「出乎意料」（譯者注：原文使用suprise）的度量。當輸出是我們期望的值，我們的「出乎意料」程度比較低；當輸出不是我們期望的，我們的「出乎意料」程度就比較高。至於交叉熵損失函式的詳細解釋，這裡。
2.《統計學習方法》李航
邏輯斯諦回歸
先介紹乙個分布 邏輯斯諦分布。設 x 是連續隨機變數，且 x 具有以下分布函式和概率密度 f x p x leq x frac f x f x frac 其中，mu 是隨機變數的數學期望，lambda 0 是形狀引數。由圖可以看出，邏輯斯諦分布和高斯分布的密度函式長得差不多。特別注意邏輯斯諦分布的概...
邏輯斯諦回歸學習總結
邏輯斯諦回歸模型是對數線性模型的推理 邏輯斯諦分布函式f x p x x 11 e x 邏輯斯諦的密度函式是f x f x e x 1 e x 2該曲線以點 12 為中心對對稱。曲線在中心附近增長速度較快，在兩端增長速度較慢。的值越小，曲線在中心附近增長得越快。二項邏輯斯諦回歸模型的條件概率分布 p...
邏輯斯諦回歸與最大熵模型 分類 監督方法
英國政治經濟學家馬爾薩斯在1789年提出了第乙個描述種群增長的馬爾薩斯人口增長模型，如下所示，y t 為種群中的個體數量，是時間t的函式，k為比例常數 也稱內生增長率 跟環境有關。dy dt k y y ekt dyd t ky y e kt 該模型中假設在無侷限的環境下,養分充足,沒有天敵,種群免...