線性回歸 Logistic回歸 Softmax回歸

2021-09-07 19:18:15 字數 2748 閱讀 7800

什麼是回歸?                   

給定一些資料,,x的值來**y的值,通常地,y的值是連續的就是回歸問題,y的值是離散的就叫分類問題

高爾頓的發現,身高的例子就是回歸的典型模型。

回歸分為線性回歸(linear regression)和logistic 回歸。

線性回歸可以對樣本是線性的,也可以對樣本是非線性的,只要對引數是線性的就可以,所以線性回歸能得到曲線

線性回歸的目標函式?

(1)為了防止過擬合,將目標函式增加平方和損失

(2)增加了平方和損失,是2次的正則,叫l2-norm,有個專有名字:ridge。【嶺回歸】

也可以增加絕對值損失,叫l1-norm,也有個專有名字:lasso。

都假定引數θ服從高斯分布。

目標函式的推導?

以極大似然估計解釋最小二乘。過程如下:

(3)θ的解析式?

一句話:目標函式對θ求偏導,再求駐點。

防止過擬合,加入λ擾動:本質是l2-norm

梯度下降演算法?

梯度下降得到得是區域性最小值,而不是全域性最小值。

sgd隨機梯度下降的優點?

速度快往往能跳出區域性最小值

由於線性回歸的目標函式是凸函式,所以在這個地方用梯度下降得到的就是全域性最小值。

沿著負梯度方向迭代,更新後的θ會使得j(θ)更小。

注意:這裡是對某乙個樣本,對θj求偏導。

每乙個樣本都對此時的θj求偏導。

注意:梯度是向量,既有方向,又有值。例如,在二維空間中的表現為斜率,當斜率為1時,能想象方向,1不就是它的值嗎?厲害了,竟然現在才明白過來。

梯度下降:(又稱批量梯度下降batch gradient descent

得到所有樣本後,再做梯度下降。

隨機梯度下降:(stochastic gradient descent

還有乙個二者的折衷:

mini-batch:

攢夠若干個做一次批梯度下降,若干個樣本的平均梯度作為下降方向。

廣義線性模型(general linear regression  glr)

1.logistic回歸的損失函式?

負對數似然nll。

softmax回歸是logistic回歸的多分類情況

沿著似然函式正梯度上公升

這個圖很能理解線性回歸和lr回歸之間的關係。

logisticregression 就是乙個被logistic方程歸一化後的線性回歸,僅此而已。

提到logistic回歸,首先要說他跟線性回歸的聯絡:其實就是被logistic方程歸一化的線性回歸。將**的輸出對映到0,1之間。以概率判斷類別,大於0.5,判為一類,小於0.5判為一類。

logistic 方程/sigmoid 函式,大概長這樣。

概率分布函式:

似然函式:

對數似然:

對θj求偏導:

沿著梯度上公升。梯度上公升也行,梯度下降也對。

注意:線性回歸裡面求損失函式的最小值得時候用到了梯度下降演算法。

一定注意,那個是求損失函式的最小值,越小越好,當然用下降;而在這裡,要求對數似然函式的最大值,則需要沿著梯度上公升,越大越好。到最後得到極大似然估計值θ,那麼學到的logistic回歸模型就是:

一定注意,這兩次用梯度的目的不同,一次是為了損失值最小,一次是為了似然值最大,乙個下降,乙個上公升!

負對數似然損失函式nll。

可以很好的解釋。

機器學習或者統計機器學習常見的損失函式如下:

1.0-1損失函式 (0-1 loss function)

2.平方損失函式(quadratic loss function)

3.絕對值損失函式(absolute loss function)

l(y,f(x))=|y−f(x)| 

4.對數損失函式(logarithmic loss function) 或對數似然損失函式(log-likehood loss function)

邏輯回歸中,採用的則是對數損失函式。如果損失函式越小,表示模型越好。

說說對數損失函式與平方損失函式

在邏輯回歸的推導中國,我們假設樣本是服從伯努利分布(0-1分布)的,然後求得滿足該分布的似然函式,最終求該似然函式的極大值。整體的思想就是求極大似然函式的思想。而取對數,只是為了方便我們的在求mle(maximum likelihood estimation)過程中採取的一種數學手段而已。

全體樣本的損失函式可以表示為:

這就是邏輯回歸最終的損失函式表示式。

logistic 回歸的總結:

優點:方法簡單、容易實現、效果良好、易於解釋

特徵選擇很重要:人工選擇,隨機森林、pca、lda

softmax回歸

logistic回歸的推廣,概率計算公式:

本章總結:

對於線性回歸,求解引數θ即可,可以用解析解的方法求解,也可以用梯度下降的方式求解。

對於logistic回歸和softmax回歸,推導及求解方式相同。基本遵循以下步驟:

給出分類概率函式

求累加的似然函式

轉換為對數似然函式求駐點

利用梯度下降法求解。

logistic回歸 logistic回歸

logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性,這是乙個分類模型而不是乙個回歸模型!它的基本思想是利用一條直線將平面上的點分為兩個部分,即兩個類別,要解決的問題就是如何擬合出這條直線,這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容,要通過三...

線性回歸和logistic分類回歸的區別

回歸問題和分類問題是深度學習裡面需要分清楚的兩種情況,需要根據不同的情況制定不同的演算法,完成不同的任務。兩者最本質的區別是回歸問題代表連續的擬合曲線 值,而分類問題則是將輸入的幾個值分為幾個離散的類。例如 線性回歸處理的是回歸問題 e xp ect y w x bexpect y wx b exp...

logistic分類(logistic回歸 LR)

幾乎所有的教材都是從logistic分類開始的,因為logistic分類實在太經典,而且是神經網路的基本組成部分,每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類,顧名思義,邏輯分類,是一種二分類法,能將資料分成0和1兩類。logistic分類的流程比較簡單...