@(機器學習)[回歸]
在《機器學習之線性回歸模型》一章中，我們學習了如何使用線性模型進行回歸學習。如果要將線性模型用來分類，就要用到該章結尾介紹的廣義線性模型了。
logistic回歸模型採用logistic函式來將線性回歸產生的**值z=
wtx+
b 轉化為乙個接近0或1的
y 值; y=
11+e
−z(1)由此得到logistic回歸模型： y=
11+e
−(wt
x+b)
(2)
假設我們的訓練集是由
m 個已標記的樣本構成：
，輸入特徵向量x(
i)∈r
n+1 。（我們約定其中x0
=1對應
截距項 ）。
我們將用於分類的函式稱為假設函式（hypothesis function），logistic回歸中的假設函式為： hθ
=11+
e(−θ
tx)(3)
注意，(3
) 中的
θ 等價於[w
;b] 。
我們可以通過「極大似然法」（maximum likelihood method）來估計
θ 。不妨設： p(
y=1|
x;θ)
p(y=
0|x;
θ)=h
θ(x)
=1−h
θ(x)
(4)
那麼有 p(
y|x;
θ)=(
hθ(x
))y(
1−hθ
(x))
1−y(5)
似然函式為： l(
θ)=p
(y|x
;θ)=
∏i=1
mp(y
(i)|
x(i)
;θ)=
∏i=1
m(hθ
(x(i
)))y
(i)(
1−hθ
(x(i
)))1
−y(i
)(6)
對數似然函式為： l(
θ)=logl(
θ)=∑
i=1m
y(i)
loghθ(
x(i)
)+(1
−y(i
))log(1−
hθ(x
(i))
)(7)
我們將訓練模型引數
θ 使其能夠最小化代價函式： j(
θ)=−
1m[∑
i=1m
y(i)
loghθ(
x(i)
)+(1
−y(i
))log(1−
hθ(x
(i))
)](8)
機器學習演算法 之logistic回歸
還是那句話 統計學習 模型 策略 演算法 1.模型 logistic模型是對條件概率進行了建模 雖然叫做logistic回歸，但實際上解決的是基本的二分類問題，因此可以建立上述的條件概率模型。這裡利用了sigmoid函式的特性，比之線性模型，應當是乙個更加合理的模型 2.策略 在建立好概率模型之後，...
《機器學習實戰》之Logistic回歸
本章內容 我們介紹幾個最優化演算法，並利用它們訓練出乙個非線性函式用於分類。回歸 假設我們有一些資料點，我們用一條直線對這些點進行擬合，這個擬合過程就稱作回歸。利用logistic回歸進行分類的主要思想是 根據現有資料對分類邊界線建立回歸公式，以此進行分類 logistic回歸的一般過程 1 收集資...
機器學習 logistic回歸
統計機器學習有兩種常見的機器學習演算法 logistic回歸和svm，這兩種演算法都涉及到優化問題，是非常重要的兩種機器學習演算法,尤其是logistic回歸可能是工程上用的最廣泛的機器學習演算法了。在logistic回歸中訓練分類器就是尋找最佳擬合引數，使用的是最簡單常見優化演算法 梯度下降法。l...