根據線性回歸可以**連續的值,對於分類問題,我們需要輸出0或者1。所以,在分類模型中需要將連續值轉換為離散值。我們可以**:
logistic回歸模型的輸出變數範圍始終在0和1之間,logistic回歸模型的假設為:hθ
(x)=
g(θt
x)其中: g
(z)=
11+e
−z該函式的影象為:
所以,整個模型的假設為:hθ
(x)=
11+e
−θtx
該假設函式hθ
(x) 的作用是,對於給定的輸入變數,根據已經訓練好的模型引數計算出輸出變數=1的可能性(estimated probability),即hθ
(x)=
p(y=
1|x;
θ)在logistic回歸中,我們**:
根據上面繪製的s形函式圖象,當
其中,z=
θtx ,即:
可以觀察到z=
θtx 與線性回歸非常相似,該函式所表示的線(面)就是logistic回歸中分界線,即判定邊界(decision boundary)。針對不同的資料分布,我們可以用非常複雜的模型來適應形狀判定邊界。j(
θ)=1
m∑i=
1mco
st(h
θ(x(
i)),
y(i)
) 其中cost()函式定義為:co
st(h
θ(x)
,y)=
{−lo
g(hθ
(x))
−log
(1−h
θ(x)
)y=1
y=0
將構建的cost()函式簡化如下:co
st(h
θ(x)
,y)=
−ylo
g(hθ
(x))
−(1−
y)lo
g(1−
hθ(x
))帶入代價函式可得到代價函式表示式為:j(
θ)=−
1m[∑
i=1m
y(i)
log(
hθ(x
(i))
)+(1
−y(i
))lo
g(1−
hθ(x
(i))
)]仍然採用梯度下降法求代價函式的區域性最小值:θj
:=θj−
α∂∂θ
jj(θ
) 求導後得到迭代過程:θj
:=θj−
α∑i=
1m(h
θ(x(
i)−y
(i))
x(i)
j simultaneously update θj
for j=
0,1…
n .
注:雖然得到的梯度下降演算法表面上看去與線性回歸一樣, 但是這裡的hθ
(x)=
g(θt
x)與線性回歸中不同,所以實際上是不一樣的。
另外,在執行梯度下降演算法之前,進行特徵縮放依舊是非常必要的。
logistic回歸 logistic回歸
logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性,這是乙個分類模型而不是乙個回歸模型!它的基本思想是利用一條直線將平面上的點分為兩個部分,即兩個類別,要解決的問題就是如何擬合出這條直線,這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容,要通過三...
logistic分類(logistic回歸 LR)
幾乎所有的教材都是從logistic分類開始的,因為logistic分類實在太經典,而且是神經網路的基本組成部分,每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類,顧名思義,邏輯分類,是一種二分類法,能將資料分成0和1兩類。logistic分類的流程比較簡單...
Logistic回歸模型
一 logistic回歸模型 線性回歸模型要求因變數是連續型正態變數。當因變數是分類變數時,logistic回歸模型是最好的回歸模型。由於y只能取兩個值1或0,y的條件數學期望 e y xi 1 p y 1 xi 0 p y 0 xi p y 1 xi 選擇乙個函式,p y 1 x f x logi...