邏輯斯蒂回歸

2021-09-11 18:58:38 字數 470 閱讀 4381

邏輯斯蒂回歸首先研究的是分類問題,所以我們這裡引入的激勵函式是sigmoid函式,所以邏輯斯蒂回歸也叫sigmoid回歸。當然也叫對數機率回歸。

邏輯斯蒂回歸是直接對資料的分類的可能性進行建模,而不是假設資料的分布,這就避免了假設資料分布時不均勻所帶來的問題,所以邏輯斯蒂回歸不但可以**類別,還可以得出該類別的概率。

但邏輯斯蒂回歸和線性回歸的不同點在於:線性回歸使用梯度下降法得到cost function 的最小值以及相關引數的值,而邏輯斯蒂回歸會使用梯度上公升法得到cost function的最大值(因為這裡要求出屬於某一類的機率,所以求得值越大,就越準確)

假設某件事情發生的概率為p,不發生的概率為1-p,我們稱這件事件發生的機率為p/(1-p),取這件事發生的機率的對數定義為logit§,因為logit函式的輸入取值範圍[0,1],所以可以通過logit函式將輸入區間【0,1】轉換到整個實數範圍內的輸出(參考log函式的圖可以得出log函式的取值範圍為整個實數範圍)

邏輯斯蒂回歸原理

邏輯斯蒂回歸是針對線性可分問題的一種易於實現而且效能優異的分類模型,是使用最為廣泛的分類模型之一。假設某件事發生的概率為p,那麼這件事不發生的概率為 1 p 我們稱p 1 p 為這件事情發生的機率。取這件事情發生機率的對數,定義為logit p 所以logit p 為 因為logit函式的輸入取值範...

邏輯斯蒂回歸 機器學習ML

參考 1.統計學習方法 李航 2.邏輯斯蒂回歸是乙個非常經典的二項分類模型,也可以擴充套件為多項分類模型。其在應用於分類時的過程一般如下,對於給定的資料集,首先根據訓練樣本點學習到引數w,b 再對 點分別計算兩類的條件概率,將 點判為概率值較大的一類。1 線性模型 邏輯斯蒂回歸屬於對數線性模型,那什...

使用R完成邏輯斯蒂回歸分類

直接上 如下 data sample iris 51 150,m dim data sample 1 獲取資料集記錄條數 val sample m,size round m 3 replace false,prob rep 1 m,m 抽樣,選取三分之二的資料作為訓練集。iris.learn dat...