定義1.1 (邏輯斯蒂分布):設
x 是連續隨機變數，
x服從邏輯斯蒂分布是指
x 具有下列分布函式和密度函式： f(
x)=p
(x≤x
)=11
+e−(
x−u)
/r(1.1)f
(x)=
f′(x
)=e−
(x−u
)/rr
(1+e
−(x−
u)/r
)2(1.2)
其中，u
為未知引數，
r>0為形狀引數
邏輯斯蒂分布的密度函式和分布函式如圖6.1所示。分布函式屬於邏輯斯蒂函式，其圖形是一條
s 形曲(sigmoid curve)。該曲線以點(u,
12)為中心成對稱，即滿足f(
−x+u
)−12
=−f(
x+u)
+12
曲線在中心附近增長速度較快，在兩端增長速度較慢。形狀引數
r 的值越小，曲線在中心附近增長越快。
二項邏輯斯蒂回歸模型是一種分類模型，由條件概率分布p(
x|y)
表示，形式為引數化的邏輯斯蒂分布。其中，隨機變數
x 取值為實數，隨機變數
y取值為1或0,。我們通過監督學習的方法來估計模型引數。
定義1.2 (邏輯斯蒂回歸模型)二項邏輯斯蒂回歸模型是如下的條件概率分布： p(
y=1|
x)=e
w∗x+
b1+e
w∗x+
b(1.3) p
(y=0
|x)=
11+e
w∗x+
b(1.4)
其中，x∈
rn是輸入，y∈
是輸出，w∈
rn和b∈r
是引數，
w 稱為權重，
b稱為偏置，w∗
x 是
w 和
x的內積。
對於給定輸入
x ，計算p(
y=1|
x)，p
(y=0
|x) 。比較兩者大小，將例項
x 分到概率值大的那一類。
有時為了方便，將權重向量和輸入向量加以擴充，即w=
(w1,
w2,w
3,..
.,wn
,b)t
，x=(
x1,x
2,x3
,...
,xn,
1)t 。注意，這裡x∈
rn+1
,w∈r
n+1 此時邏輯斯蒂回歸模型擴充套件如下： p(
y=1|
x)=e
w∗x1
+ew∗
x(1.5) p
(y=0
|x)=
11+e
w∗x(
1.6)
現在考察邏輯斯蒂回歸模型的特點。乙個事件的機率(odds)是指該事件發生的概率與該事件不發生的概率的比值。如果事件發生的概率是
p ，那麼該事件的機率是p1
−p，該事件的對數機率(log odds)或logit函式是： lo
git(
p)=l
ogp1
−p對於邏輯斯蒂回歸而言，由式(1.5)和式(1.6)得：lo
gp(y
=1|x
)1−p
(y=1
|x)=
w∗x
也就是說，在邏輯斯蒂回歸模型中，輸出y=
1 的對數機率是輸入
x 的線性函式。
邏輯斯蒂回歸模型學習時，對於給定的訓練集t=
，其中，xi
∈rn ，y∈
，可以用極大似然估計來估計引數，從而得到回歸模型。 設：p
(y=1
|x)=
π(x)
，p(y
=0|x
)=1−
π(x)
則似然函式為：∏n
i=1[
π(xi
)]yi
[1−π
(xi)
]1−y
i 對數似然函式為：l(
w)=∑
i=1n
[yil
ogπ(
xi)+
(1−y
i)lo
g(1−
π(xi
))]
=∑i=
1n[y
ilog
π(xi
)1−π
(xi)
+log
(1−π
(xi)
)] =
∑i=1
n[yi
(wxi
)−lo
g(1+
ewxi
)] 對
l(w)
求極大值，得到
w 的估計值。
這樣，問題就變成以對數似然函式為目標函式的最優化問題。邏輯斯蒂回歸學習中通常採用的方法是梯度下降及擬牛頓法。
1、求解方法一：梯度上公升法
歡迎使用CSDN markdow
本markdown編輯器使用stackedit修改而來，用它寫部落格，將會帶來全新的體驗哦 markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細...
歡迎毛毛與妞妞使用CSDN markdown編輯器
建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能，豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好！這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章，了解一下mar...
歡迎使用CSDN markdow1n編輯器
本markdown編輯器使用stackedit修改而來，用它寫部落格，將會帶來全新的體驗哦 markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細...