andrew ng機器學習課程筆記–彙總logistic regression
logistic regression model
solving the problem of overfitting
這裡需要使用到sigmoid函式–g(z)：hθ
(x)=
g(θt
x) z
=θtx
g(z)=11
+e−z
決策邊界： hθ
(x)≥
0.5→y=
1 hθ
(x)<
0.5→y=
0 等價於 g(
z)≥0.5→y
=1 g
(z)<
0.5→y=
0 等價於 z≥
0→y=
1 z<0→
y=0
這裡之所以再次提到損失函式，是因為線性回歸中的損失函式會使得輸出呈現起伏，造成許多區域性最優值，也就是說線性回歸中的cost function在運用到邏輯回歸時，將可能不再是凸函式。
邏輯回歸的cost function如下：jθ
=1m∑
cost
(hθ(
x(i)
,y(i
)))
cost
(hθ(
x),y
))=−
log(
hθ(x
))if
y=1
cost
(hθ(
x),y
))=−
log(
1−hθ
(x))
ify=
0 結合圖來理解：
由上圖可知，y=1，hθ(x)是**值，
- 當其值為1時，表示**正確，損失函式為0；
- 當其值為0時，表示錯的一塌糊塗，需要大大的懲罰，所以損失函式趨近於∞。
上圖同理co
st(h
θ(x)
,y)=
−ylo
g(hθ
(x))
−(1−
y)lo
g(1−
hθ(x
))jθ j
θ=−1
m∑co
st(h
θ(x)
,y)
=−1m
∑[−y
ilog
(hθ(
x(i)
))−(
1−yi
)log
(1−h
θ(x(
i)))
] 如圖左邊顯示的是優化方法，其中後三種是更加高階的演算法，其優缺點由圖郵編所示：
優點
缺點
後面三種方法只需了解即可，老師建議如果你不是專業的數學專家，沒必要自己使用這些方法。。。。。。當然了解一下原理也是好的。
主要說一下過擬合的解決辦法：
1）減少特徵數量
2）正則化
圖示右邊很明顯是過擬合，因此為了糾正加入了正則化項：1000·θ3
2，為了使得j(θ)最小化，所以演算法會使得θ3趨近於0，θ4也趨近於0。
正則化損失函式表示式：j
(θ)=
12m[
∑i=1
m(hθ
(x(i
))−y
(i))
2+λ∑
j=1n
θ2j]
minθ[12
m(∑i
=1m(
hθ(x
(i))
−y(i
))2+
λ∑j=
1nθ2
j)]
j(θ)
=12m
[∑i=
1m(h
θ(x(
i))−
y(i)
)2+λ
∑j=1
nθ2j
] ∂j
θ∂θj
=1m∑
i=1m
(hθ(
x(i)
)−y(
i))x
(i)j
+λmθ
j repeat
前面提到過，若m< n,那麼xtx是不可逆的，但是加上λ·l後則變為可逆的了。j(
θ)=−
1m+λ
2m∑j
=1nθ
2j梯度下降過程
Andrew Ng 機器學習 課程介紹
本課程是由斯坦福機器學習大牛andrew ng主講的，對我這樣的菜鳥很有用，可以作為機器學習入門的一門課程。課程 課程完全免費，每年會開幾次課，只要註冊成為coursera使用者，找到machine learning課程就可以跟著課程節奏學習，跟在學校學習一樣一樣的，每節課有對應的作業和程式設計實驗...
Andrew NG 機器學習課程筆記（一）
機器學習的動機與應用 題記 之前看過andrew ng 的機器學習課程，但沒有系統的整理與歸納，現在感覺有些東西遺忘了，於是準備每天花一些時間重溫一下同時爭取每天整理一節課的筆記，由於很多內容是自己理解或者在網上尋找各種資料得出的結論，難免有不足之處，還望讀者指正。今天是母親節，祝天下的媽媽們節日快...
Andrew NG機器學習課程筆記（六）
支援向量機 1 1.這一節andrew老師回顧了上一節的樸素貝葉斯，然後提了下神經網路，接著就是重頭戲支援向量機了。支援向量機是一種二分類模型，他的基本模型時定義在特徵空間上的間隔最大的線性分類器，間隔最大使他有別於感知機，支援向量機還包括核技巧，這使他成為實質上的非線性分類器。支援向量機的學習策略...