logistic回歸和廣義線性模型

logistic回歸：

logistic回歸一般是用來解決二元分類問題，它是從貝努力分布轉換而來的

hθ(x) = g(z)=1/1+e-z ;z=θtx

最大似然估計l(θ) = p(y|x;θ)

=∏p(y(i)|x(i);θ)

=∏(hθ(x))y(i)(1-hθ(x))1-y(i)

l(θ) = logl(θ)

=σy(i)loghθ(x(i))+(1-y(i))log(1-hθ(x(i)))

θ的優化目的就是讓最大似然估計最大，用梯度上公升法求θ

θj=θj+α∂l(θ)/∂θj=θj+α(y(i)-hθ

(x(i)))x(i)

jlogistic回歸用梯度上公升法求得的θ的迭代公式看起來跟線性回歸很像，但這跟線性回歸是有本質區別的

1.線性回歸是由高斯分布推導而來，而logistic回歸是由貝努力分布推導而來

2.二種回歸的最大似然估計是不一樣的，只不過求完導後的結果看似相同

3.二種回歸hθ(x)是不同的

廣義線性模型：

之前已經寫了線性回歸和logistic回歸，基本的形式都是先設定hθ(x)，然後求最最大似然估計l(θ),然後求出l(θ)=logl(θ),然後用梯度上公升法或其它方法求出θ，二種回歸如此想你的原因就是在於它都都是廣義線性模型裡的一員。

如果乙個概念分布可以表示成p(y;η)=b(y)exp(ηtt(y)-a(η))時，那麼這個概率分布可以稱之為指數分布

貝努力分布轉換為指數分布：p(y;ø)=øy(1-ø)1-y

=exp(log(øy(1-ø)1-y))

=exp(ylogø+(1-y)log(1-ø))

=exp((log(ø/(1-ø)))y+log(1-ø))

根據上面指數分布的公式可得出：

b(y)=1

η=logø/(1-ø);ø=1/(1+e-η)

t(y) = y

a(η)=-log(1-ø)

高斯分布轉換為指數(因為σ的取值對最後的結果沒影響，所以設σ2=1)：p(y;μ)=(1/2π)exp(-1/2(y-μ)2);2π上有根號

=(1/2π)exp(-1/2y2).exp(μy-1/2μ2)

根據上面指數分布的公式可得出：

b(y)=(1/2π)exp(-1/2y2);2π上有根號

η=μt(y) = y

a(η)=1/2μ2

廣義線性模型的三步是：

1.將y|x;θ變換成以η為引數的指數分布的形式

2.因為h(x)=e[y|x],所以能過第1步的變換可以得到e[y|x]與η的對應關係(對於logistic回歸，期望值是ø，ø與η的關係是ø=1/(1+e-η)；對於線性回歸，期望值是μ，μ與η的關係是η=μ)

3.設定η=θtx(如果η是乙個向量值的話，那麼ηi=θi

tx)