邏輯回歸演算法,可以說是最基本的分類演算法之一,一般為2分類,也可以擴充套件為多分類。下面言簡意賅的溫習該演算法的相關知識點。hθ
(x)=
g(θt
x)=1
1+e−
θtx
理解如下:p(y=1 | x) =
h θh(x), p(y=0 | x ) = 1-h(x)
這個函式有乙個特點:
(z)=
ddz1
1+e−
z=1(
1+e−
z)2(
e−z)
=1(1
+e−z
)⋅(1
−1(1
+e−z
))=g
(z)(
1−g(
z))g
′(z)
=ddz
11+e
−z=1
(1+e
−z)2
(e−z
)=1(
1+e−
z)⋅(
1−1(
1+e−
z))=
g(z)
(1−g
(z))
首先定義損失函式,常見的損失函式有以下幾種
1.0-1損失函式 (0-1 loss function) l
(y,f
(x))
={1,
0,y ≠
f(x)
y = f(x)
2.平方損失函式(quadratic loss function) l
(y,f
(x))
=(y−
f(x)
)2
3.絕對值損失函式(absolute loss function) l
(y,f
(x))
=|y−
f(x)
| 4.對數損失函式(logarithmic loss function) 或對數似然損失函式(log-likehood loss function) l
(y,p
(y|x
))=−
logp
(y|x
)
關於Logistic Regression的疑問
1.應用場景 首先要明確的是,logistic regression是用來分類的 與stanford的公開課進行模擬,在該課程中所舉的例子是根據訓練集中房屋的各種feature area,location等 和 來 測試集中的房屋 那麼利用logistic regression就是來 一種值域為 0...
演算法學習 Union Find演算法
union find演算法有它的實際用途。多用於動態連通的應用場景。union find演算法是 給出兩個節點,判斷它們是否連通,如果連通,是不需要給出具體的路徑的 舉兩個例子作為主要表現 1 在網路連線中,當發現沒有連線的兩個節點,可以把他們連線起來,一旦節點都連線起來,又能把多餘的線拆除,這時候...
演算法學習 KM演算法
km演算法 用於求二分圖的最佳完美匹配 即權值最大的完美匹配 如果你也是個剛來學習km演算法的人 大概的用途肯定還是知道的吧 還是直接說重點吧 首先 理解km演算法前 必須有以下3個概念 1.可行頂標 對於乙個賦值二分圖g x,y,e,w x,y 代表二分圖的兩邊頂點標號 e代表邊 w代表邊的權值 ...