線性模型並不能很好地用於分類問題，分類問題的結果多是離散且非線性的，這時需要構造新的模型函式，如下面這樣的復合函式。 hθ
(x)=
g(θt
x)g(
z)=1
1+e−
zhθ(
x)=1
1+e−
θtx
通常將 g(
z)叫做 sigmoid function（s型函式）或logistic function（邏輯函式）。復合以後，可以將原先的線性模型對映成s型，更好地服務於分類問題，其結果區間在[0
,1] 。我們把這類問題成為邏輯回歸問題。
用上述模型來描述腫瘤大小和良性/惡性的相關問題最為合適。[0
,1] 代表了該腫瘤是否為良性/惡性的概率。如下式為特定
x 和
θ下惡性腫瘤（y=
1 ）的概率： hθ
(x)=
p(y=
1|x;
θ)則此時為良性腫瘤的概率為： p(
y=0|
x;θ)
=1−h
θ(x)
定義了邏輯回歸函式，如果依法炮製最小二乘法來求
θ 值時並不理想，因為此時的 j(
θ)並非是凸函式，有很多的區域性最小值，用梯度下降要找到全域性最小是不現實的。 j(
θ)=1
m∑im
cost
(hθ(
xi),
yi)
可以引入
−log(z
) 將 hθ
轉換成需要的成本函式。 co
st(h
θ(xi
),yi
)={−
log(hθ
(x))
−log(1
−hθ(
x))if y=
1if y=
0 如圖，
可看出，y=
1 時，如果 hθ
(x) 趨近於0，j(
θ)將趨近於無窮。
為了方便運算，更新引數的表示式需要改寫為向量形式。我們的訓練資料為(x
,y) ，即(x
i,yi
),i=
0,..
.,m 。如上定義的成本函式有個好的特性，就是求偏導的表示式和線性回歸中的表示式形式一樣。 θ′
=θ−α
∂∂θj
(θ)=
θ−αm
∑im(
(h(x
i)−y
i)xi
) 牛頓迭代法是一種更快的收斂方法。給定我們的成本函式，我們的目標是找到j(
θ)=0
的引數值
θ 。令f(
x)=∂
∂θj(
θ)，牛頓法為 θ′
=θ−f
(θ)f
′(θ)
=θ−j
′(θ)
j′′(θ
) 該法的向量形式可表述為， θ′
=θ−h
−1∇θ
j 此處h
為hessian陣（二階偏導），∇θ
j 為一階偏導向量。 h=
⎛⎝⎜⎜
⎜⎜⎜h
0,0h
1,0⋮
hn,0
h0,1
h1,1
⋮hn,
1⋯⋯⋱
⋯h0,
nh1,
n⋮hn
,n⎞⎠
⎟⎟⎟⎟
⎟ 其中， hi
,j=∂
2j∂θ
i∂θj
∇θj=⎡⎣⎢
⎢⎢⎢⎢
⎢⎢⎢⎢
⎢⎢∂j
(θ)∂
θ0∂j
(θ)∂
θ1⋮∂
j(θ)
∂θn⎤
⎦⎥⎥⎥
⎥⎥⎥⎥
⎥⎥⎥⎥
NG 邏輯回歸 二分類
import time import numpy as np import pandas as pd import matplotlib.pyplot as plt a pd.read table 01.txt header none,usecols 0,1,2 插入一列 1 a.insert 0,...
深度學習筆記 邏輯回歸模型和二元分類
在機器學習中，多元分類 是將示例歸類為多個 大於兩個 類別中的一類 將示例歸為兩類中的一類被稱為二元分類 一些分類演算法自然地允許使用超過兩類，另一些自然是二元分類演算法 然而，它們可以通過多種策略轉化為多元分類。多元分類不應該和多標籤分類相混淆，多標籤分類要為每個示例 多個標籤，即乙個示例可以同時...
學習筆記 分類演算法 邏輯回歸
邏輯回歸 logistic regression 簡稱lr。它的特點是能夠使我們的特徵輸入集合轉化為0和1這兩類的概率。一般來說，回歸不用在分類問題上，因為回歸是連續型模型，而且受雜訊影響比較大。如果非要應用進了 來，可以使用邏輯回歸。了解過線性回歸之後再來看邏輯回歸可以更好的理解。logistic...