在說邏輯回歸之前，可以先說一說邏輯回歸與線性回歸的區別：
邏輯回歸與線性回歸在學習規則形式上是完全一致的，它們的區別在於hθ(x(i))為什麼樣的函式
當hθ(x(i))=θtx(i)時，表示的是線性回歸，它的任務是做回歸用的。
當時，表示的是邏輯回歸，假定模型服從二項分布，使用最大似然函式推導的，它的任務是做分類用的，邏輯回歸是乙個廣義的線性模型，是對數線性模型。
下面就是邏輯回歸的推導過程了
首先我們來看看核函式即sigmoid函式
的對z的導數
這個結果在後續的推導過程會用到，這裡的z我們可以看成θtx。
logistic回歸引數估計：
假定：p(y=1 | x; θ)=hθ(x)
p(y=0 | x; θ)=1-hθ(x)
p(y | x; θ)=(hθ(x))y(1-hθ(x))1-y，
這個是二分類任務，類別為1時發生概率為hθ(x)，類別為0時發生概率為1-hθ(x)，兩類發生的概率獨立同分布，所以可以使用似然函式將所有的樣本發生的可能相乘，
接下來就是確定θ，按部就班先對似然函式取對數，再對θ求導
一般邏輯回歸損失函式有兩種表達：
乙個事件的機率odds，是指該事件發生的概率與該事件不發生的概率的比值，
對這個比值取對數就是對數機率：logit函式
這與線性回歸有一定的共性，恰恰說明邏輯回歸是乙個廣義的線性模型，是對數線性模型。
logistic回歸總結，原話**
logistic回歸模型，相比svm、gbdt等模型，要簡單得多，但是由於這個模型可解釋性強，被廣泛運用於各種業務場景中。
此外，它也是如今大行其道的深度學習演算法的基礎之一。
邏輯回歸的優點有以下幾點：
1、模型的可解釋性比較好，從特徵的權重可以看到每個特徵對結果的影響程度。
2、輸出結果是樣本屬於類別的概率，方便根據需要調整閾值。
3、訓練速度快，資源占用少。
而缺點是：
1、準確率並不是很高。因為形式非常簡單(非常類似線性模型)，很難去擬合資料的真實分布。
2、處理非線性資料較麻煩。邏輯回歸在不引入其他方法的情況下，只能處理線性可分的資料。
3、很難處理資料不平衡的問題。
邏輯回歸 之 Logist 推導
可以咱學校教材大二版的 概率論與數理統計 山大版,來整一波,為了簡化推導形式呢,這裡就假設2個樣本空間的形式來展開,基於 條件概率 全概率與貝葉斯作為核心.栗子 全概率與貝葉斯 設某廠有甲,乙,丙 三個車間都生產 a 產品.已知 先驗概率 各車間產量分別佔全廠的 25 35 40 且各車間的次品率分...
機器學習之邏輯回歸
什麼叫邏輯回歸？簡單來講便是目標值只有，而線性回歸的目標值卻是乙個區域 0，1 可以代表得病沒得病，正確錯誤，etc.那麼怎麼才能把給定的輸入值正確的分類到呢，下面就介紹乙個特別的函式 sigmoid函式，g z 1 1 exp z 啥都不說先上圖。上圖便是sigmoid函式圖了，之所以引用這個函式...
機器學習之 邏輯回歸
邏輯回歸又稱logistic回歸，邏輯斯諦回歸，是一種廣義的線性回歸分析模型。sigmoid函式也是神經網路中常用的函式，用於把x從負無窮到正無窮壓縮到y從0到1之間。畫出來就是一條s型曲線，如下圖中的藍色曲線 它以0點為中心對稱，公式如下 當x值接近負無窮時，分母很大，s x 接近0，當x接近正無...