@(2023年例會)
損失函式
前面講述了線性回歸，線性回歸的模型 y=wt+b
。模型的**值逼近真實標記y。那麼可否令模型的**值逼近真實標記y的衍生物呢。比如說模型的**值逼近真實標記的對數函式。下面引入邏輯回歸的知識。
我們需要乙個單調可微函式將分類任務的真實標記y與線性回歸模型的**值聯絡起來，所以需要乙個轉換函式將線性模型的值與實際的**值關聯起來。考慮二分類問題，其輸出標記是y屬於，而線性模型產生的**值是z=
wt+b
是實值，那麼我們需要將這個實值轉化成0/1值，最理想的函式是單位階躍函式。
單位階躍函式（unit-step function），如下圖，如果**值大於零則判斷為正例；如果**值小於零則判斷為反例；為零的則任意判斷。如下圖所示。y=
⎧⎩⎨0
0.51
if z < 0
if z = 0
if z > 0
從圖中可以看出，單位階躍函式不連續因此不適合用來計算。這裡我們引入sigmoid函式，進行計算。 y=11+e
−z將z值轉化為乙個接近0或1的y值，並且其輸出值在z=0的附近變化很陡。那麼我們現在的模型變化成
機率：如果將y作為正例的可能性，1-y作為負例的可能性，那麼兩者的比值y1ln−y稱為機率，反應了x作為正例的相對可能性。則根據sigmoid函式可得。
y1−y
=wt+
b
ln由此可以看出，y=y1−y
稱為對數機率；
11+e
−(wt
+b) 實際上是用線性模型的**結果去逼近真實標記的對數機率，因此，其對應的模型稱為「對數機率回歸」
下面介紹損失函式以及計算方法。因為：lnp(y1−y
=wt+
b 。所以
y=1|
x)=e
(wt+
b)1+
e(wt
+b)
p(y=
0|x)
=11+
e(wt
+b)
我們採用極大似然估計法進行求解，由於是二分類問題，所以符合概率裡面的0-1分布，所以似然函式為 令pl((y=1
|x)=
e(wt
+b)1
+e(w
t+b)
=f(x
) ，p(
y=0|
x)=1
1+e(
wt+b
)=1−
f(x)
w)=∏
i=1n
[f(x
i)]y
i[1−
f(xi
)]1−
yi對數似然函式為：l(
w)=l
nl(w
)=∑i
=1n[
yiln
f(xi
)+(1
−yi)
ln(1
−f(x
i))]
l(w)=ln
l(w)
=∑i=
1n[y
ilnf
(xi)
1−f(
xi)+
ln(1
−f(x
i))]
l(w)=ln
l(w)
=∑i=
1n[y
i(wx
i)−l
n(1+
ewxi
)]求這個函式的最大值，加個負號，求最小值。運用前面章節介紹的梯度下降和牛頓法都可以求解，這裡不再贅述。
邏輯斯蒂回歸 機器學習ML
參考 1.統計學習方法 李航 2.邏輯斯蒂回歸是乙個非常經典的二項分類模型，也可以擴充套件為多項分類模型。其在應用於分類時的過程一般如下，對於給定的資料集，首先根據訓練樣本點學習到引數w,b 再對 點分別計算兩類的條件概率，將 點判為概率值較大的一類。1 線性模型 邏輯斯蒂回歸屬於對數線性模型，那什...
《機器學習實戰》 邏輯斯蒂回歸《一》
回歸我們知道有線性回歸，線性回歸模型能夠無限的逼近我們的結果。以 x i,yi 為例，通過線性回歸 f x w tx b 表示式，就可以得到我們對yi 的估計值。如何從線性回歸轉換到分類呢？由於線性回歸得到的是連續值，z wtx b z 的範圍 是這樣的乙個連續值無法直接轉換為類別。那怎麼辦？最簡單...
機器學習演算法詳解 邏輯斯蒂回歸模型
邏輯斯蒂回歸模型是一種分類模型，其目的解決分類問題而非回歸問題。logistic回歸是乙個判別模型，直接學習後驗概率分布，其學習演算法可以理解為極大似然估計法。模型分類演算法通過定義乙個分離超平面來分割不同類別的資料，用sigmoid函式作為後驗概率分布函式來對輸入資料進行分類。模型的學習演算法通過...