對數機率回歸不是回歸，是分類。
1.對數機率回歸的形式 由線性回歸的y=wx轉化為 y_pre=sigmoid(wx)即是對數機率回歸
2.對數機率回歸的名字來由（對數機率優化的本質）：
2.1由於上述1中的優化目標是希望**y_pre=即sigmoid(wx)盡可能等於分類標記y
2.2由sigmoid函式可以得到，即希望wx盡可能等於ln(y/(1-y))。
2.3由於**目標y為1時是正例，y為0時是負例，因此y的值可以視為樣本為正例的概率，同時1-y即可以視為樣本為負例的概率。
2.4另y/(1-y)即正例概率與負例概率的比值（乙個相對概率），通常稱為機率，而ln(y/(1-y))則稱為對數機率概率
綜合2.2、2.4說明對數機率回歸的目標是使wx盡可能等於對數機率，這就是對數機率回歸名字的來由。
3.如何進行具體的最優化
3.1對於任意樣本，**值為正例的概率為sigmoid(wx),**值為負例的概率為1-sigmoid(wx)
3.2我們希望對於正例，我們希望最大化**值為正例的概率sigmoid(wx),對於負例，我們希望最大化**值為負例的概率1-sigmoid(wx)，綜合我們希望最大化 z=y*sigmoid(wx)+(1-y)*(1-sigmoid(wx)).也可以寫成y*y_pre+(1-y)*(1-y_pre)
3.3通過梯度下降法和牛頓法可以進行基於該損失函式的優化
注：3.2中的損失函式也可以使用其他損失函式如mae、mse代替。即z=mse(y,y_pre)
對數機率回歸
class sklearn linear model.logisticregression penalty l2 dual false tol 0.0001 c 1.0,fit intercept true intercept scaling 1,class weight none random s...
機器學習入門學習筆記 （2 3）對數機率回歸推導
在以前的部落格 機器學習入門學習筆記 2.1 線性回歸理論推導 中推導了單元線性回歸和多元線性回歸的模型。將線性回歸模型簡寫為 y tx b 對數線性回歸模型可以寫成 ln y t b 本質上仍然是線性回歸，只不過擬合的是非線性的ln函式了。更一般地，考慮單調可微函式g 令y g 1 tx b 這個...
線性模型 對數機率回歸 邏輯回歸 演算法
又常常稱為邏輯回歸，邏輯斯諦回歸 如果是分類任務，如何使用線性回歸模型呢？答案在廣義線性模型的公式中，只需要找到乙個單調可微函式將分類任務的真實標記y 與線性回歸模型的 值聯絡起來。考慮二分類任務，輸出 y y in y 線性回歸的 值 z w tx b z w tx b z wtx b 是實值，需...