logistic回歸是眾多分類演算法中的一員。通常，logistic回歸用於二分類問題，例如**明天是否會下雨。當然它也可以用於多分類問題，不過為了簡單起見，本文暫先討論二分類問題。首先，讓我們來了解一下，什麼是logistic回歸。
1： logistic回歸（相當於sigmoid 函式）
假設現在有一些資料點，我們利用一條直線對這些點進行擬合(該線稱為最佳擬合直線)，這個擬合過程就稱作為回歸，如上圖。
公式：
logistic回歸一種二分類演算法，它利用的是sigmoid函式閾值在[0,1]這個特性。logistic回歸進行分類的主要思想是：根據現有資料對分類邊界線建立回歸公式，以此進行分類。其實，logistic本質上是乙個基於條件概率的判別模型
2：
logistic回歸雖然名字上是叫回歸，但其實它是一種分類演算法。logistic回歸也在一些文獻中也稱為logit回歸、最大熵分類(maxent)或對數線性分類器。
「回歸」的意思就是要找到最佳擬合引數，其中涉及的數學原理和步驟如下：
3：與多線性回歸的差別
線性規話它的變數有很多，考慮的因素有很多，比如身高，體重，年齡······
而logistic則關心的因素少，結果只是分成兩列，是與不是 兩種結果
h(x) 是資料帶入sigmiod 函式後的表示式
第一條求：產生 y=1 的概率，因為經過sigmoid函式後區間【0，1】間可以代表概率第二條求：產生 y=0的概率
整合成一條公式：如下圖
取對數變形得：
又因為：
![在這裡插入描述](
帶入，且損失值一般為負值，我們需要取正值，加負號：
這是代價函式：是n 個 樣本的損失函式的集合：
要使得代價函式越小越好就是要：
越大越好。為求最大值，這裡採用梯度上公升：
一系列鏈式法則:
通過鏈式法則求得權重 w 的關係：
這是梯度上公升 因為是加號
a 是學習率
x 是舊得權重
尋找一定的次數，得到最好的擬合引數（權重）
便找出分界線
待續詳細數學過程的原文：
梯度法的原文：
機器學習 logistic回歸
統計機器學習有兩種常見的機器學習演算法 logistic回歸和svm，這兩種演算法都涉及到優化問題，是非常重要的兩種機器學習演算法,尤其是logistic回歸可能是工程上用的最廣泛的機器學習演算法了。在logistic回歸中訓練分類器就是尋找最佳擬合引數，使用的是最簡單常見優化演算法 梯度下降法。l...
機器學習之logistic回歸
機器學習 回歸 在 機器學習之線性回歸模型 一章中，我們學習了如何使用線性模型進行回歸學習。如果要將線性模型用來分類，就要用到該章結尾介紹的廣義線性模型了。logistic回歸模型採用logistic函式來將線性回歸產生的 值z wtx b 轉化為乙個接近0或1的 y 值 y 11 e z 1 由此...
機器學習實戰 Logistic回歸
11 e z 1 1 e zz w 0x0 w1x1 w2x 2 wn xxz w 0x0 w1x1 w2x 2 wn xx z wt x z w tx 在每個特徵上都乘以乙個回歸係數，然後把所有結果值相加，將這個總和代入sigmoid函式中，進而得到乙個範圍在0 1直接的數值。1類 大於0.5 0...