又常常稱為邏輯回歸，邏輯斯諦回歸
如果是分類任務，如何使用線性回歸模型呢？答案在廣義線性模型的公式中，只需要找到乙個單調可微函式將分類任務的真實標記y 與線性回歸模型的**值聯絡起來。
考慮二分類任務，輸出 y
∈y \in \
y∈, 線性回歸的**值 z=w
tx+b
z=w^tx + b
z=wtx+
b 是實值，需要對 z 進行轉化，最理想的轉換函式是單位階躍函式，即**值大於0時，判斷正，小於0，判斷負，等於0，則隨機。但該函式是分段函式，是不連續函式，不符合廣義線性模型中「聯絡函式」的要求，對數機率函式形似單位階躍函式，但它是連續單調可微的。對數機率函式是一種「sigmoid函式」，它**值 z 轉化為乙個接近0或1的 y 值。
代入廣義線性模型公式得到
y =1
1+e−
(wtx
+b)y = \frac}
y=1+e−
(wtx
+b)1
上述公式就是對數機率回歸的公式。
這種分類方法有很多優點：它直接對分類可能性進行建模，無需事先假設資料分布；另外，不僅**出「類別」，還得到了近似概率**。它的目標函式是任意階可導的凸函式，有很多數值優化演算法，如牛頓法，擬牛頓法等都可用於求取最優解。lny
1−y=
wtx+
b\ln\frac = w^tx + b
ln1−yy
=wtx
+b將 y 視作類後驗概率估計 p(y
=1∣x
)p(y=1|x)
p(y=1∣
x), 上式寫作
ln p
(y=1
∣x)p
(y=0
∣x)=
wtx+
b\ln\frac = w^tx + b
lnp(y=0
∣x)p
(y=1
∣x)
=wtx
+b再加上兩個概率和等於1的條件，顯然有
p (y
=1∣x
)=ew
tx+b
1+ew
tx+b
p(y=1|x) = \frac}}
p(y=1∣
x)=1
+ewt
x+be
wtx+
b p(y
=0∣x
)=11
+ewt
x+bp(y=0|x) = \frac}
p(y=0∣
x)=1
+ewt
x+b1
可通過「極大似然法」來估計 w 和 b 。l(w
,b)=
∑i=1
mlnp
(yi∣
xi;w
,b)=
∑i=1
mlnp
(yi∣
xi;w
,b)l(w, b) = \sum_^m lnp(y_i|x_i; w, b)=\sum_^m lnp(y_i|x_i; w, b)
l(w,b)
=i=1
∑ml
np(y
i∣x
i;w
,b)=
i=1∑
mln
p(yi
∣xi
;w,
b)上式就是對數機率回歸的目標函式，最大化上述式子，可以通過梯度下降法、牛頓法等來求最優解。
對數機率回歸
class sklearn linear model.logisticregression penalty l2 dual false tol 0.0001 c 1.0,fit intercept true intercept scaling 1,class weight none random s...
線性模型 邏輯回歸
模型原型 class sklearn.linear model.logisticregression penalty l2 dual false,tol 0.0001,c 1.0,fit intercept true,intercept scaling 1,class weight none,ran...
01 線性模型 線性回歸與邏輯回歸
線性模型 試圖學得乙個屬性的線性組合來進行 的函式 f x w 1x 1 w 2x 2 w dx d b 向量模式 f x w tx b 簡單 基本 可解釋性好 可看出每部分屬性所做的貢獻 可用於分類和回歸 多個特徵 h x sum theta ix i theta tx 損失函式mse j the...