引言：
今天我們學習邏輯回歸。我們都知道線性回歸模型是y=w
tx+b
y=w^tx+b
y=wtx+
b,我們對他進行變形，得到lny
=wtx
+blny=w^tx+b
lny=wt
x+b,這就是「對數線性回歸」(logit linear regression),就是我們所說的邏輯回歸。再變形y=e
wtx+
by=e^
y=ewtx
+b，一般地，把y=f
(wtx
+b)y=f(w^tx+b)
y=f(wt
x+b)
形式，叫做廣義線性模型。
因為x是連續的，所以wtx
+bw^tx+b
wtx+
b的結果也是連續的，為了能做二分類問題，我們借鑑單位階躍函式。如下圖：
我們引入sigmoid 函式，邏輯回歸形式是y=1
1+e−
z,z=
wtx+
by=\frac},z=w^tx+b
y=1+e−
z1,
z=wt
x+b損失函式：j(θ
)=−1
m∑i=
1my(
i)lo
g(σ(
θt・x
b(i)
))+(
1−y(
i))(
1−lo
g(σ(
θt・x
b(i)
)))j(θ)=-\frac \sum_^y^log(σ(θ^t・x_b^))+(1-y^)(1-log(σ(θ^t・x_b^)))
j(θ)=−
m1∑
i=1m
y(i
)log
(σ(θ
t・xb
(i)
))+(
1−y(
i))(
1−lo
g(σ(
θt・x
b(i)
)))
，我們在尋找最優的邏輯回歸模型時，就是找到一組引數θ，使得損失函式j(θ)達到最小值。
1、手工**實現
實現過程：
①、定義sigmoid方法，使用sigmoid方法生成邏輯回歸模型；
②、定義損失函式，並使用梯度下降法得到引數；
③、將引數代入到邏輯回歸模型中，得到概率；
④、將概率轉化為分類。
在這裡插入**片(θ)+
αl1或
j=cj
(θ)+
αl2j=cj(θ)+αl1 或 j=cj(θ)+αl2
j=cj(θ
)+αl
1或j=
cj(θ
)+αl
2 參考文獻：《機器學習 周志華著》第3章線性模型 3.2節、3.3節
參考文章：
邏輯回歸學習筆記
邏輯回歸 邏輯回歸是乙個二分類問題，在分類過程值中可以得到代分類樣本所屬類別的概率。對於輸入x和輸出 結果y 邏輯回歸採用sigmoid函式，將實數域的x對映到 0 1 區間。sigmoid函式如下所示 h x 11 e x 則可以得到輸入x屬於正例和反例的概率，如下 py 1 x h x p y ...
機器學習之邏輯回歸 Logistic 筆記
在說邏輯回歸之前，可以先說一說邏輯回歸與線性回歸的區別 邏輯回歸與線性回歸在學習規則形式上是完全一致的，它們的區別在於h x i 為什麼樣的函式 當h x i tx i 時，表示的是線性回歸，它的任務是做回歸用的。當時，表示的是邏輯回歸，假定模型服從二項分布，使用最大似然函式推導的，它的任務是做分類...
學習筆記（三）邏輯回歸
線性回歸和邏輯回歸其實沒有多大的區別，就是邏輯回歸多了乙個sigmoid函式，使樣本能對映到 0,1 之間的數值，用來做分類問題。線性回歸 線性指輸入變數是一次的，回歸即擬合，線性回歸即 確定唯一的因變數 需要 的值 和乙個或多個數值型的自變數 變數 之間的關係。即 求出w，b的值y f x wx ...