對於一組特徵，使用線性方程來進行擬合，對結果進行**，公式如下：
線性回歸選取的損失函式是均方誤差，均方誤差表示所有樣本到該**函式的歐式距離最小，代價函式如下：
對每乙個θ進行求導，便可以求取θ的值：
更新：
a.通常α取0.001，根據實驗結果依次增加三倍，比較實驗結果。0.001，0.003，0.01，0.03，0.1
b.θ更新到什麼時候停止？每次更新後，帶入θ值可以求得j(θ)的值，比較當前的j(θ)與上一次的值，如果變化很小，則可認為達到收斂；或者不斷增加迭代次數，視覺化觀察j(θ)的曲線圖。
使用l1範數（權值為非0的權值和）稱為lasso回歸，使用l2範數（權值平方和）稱為嶺回歸。正則化項稱為懲罰函式，目的解決過擬合問題，代價函式變為：
這裡使用的是l2範數，j(θ)稱為嶺回歸
邏輯回歸由線性回歸轉變而來，線性回歸用來**具體的值，如果遇到分類問題如何解決呢？這裡還是使用線性回歸來擬合資料，然後再對其**值進行0 1 對映（使用sigmod函式），因此得到的邏輯回歸模型為：
sigmod函式就是形式s形狀的函式，存在上限、下限
這裡可以均方誤差作為代價函式，但是影象非凸函式，使用梯度下降很難求得其收斂值，因此這裡借助於極大似然估計的概念來設計邏輯回歸的代價函式：
對於二分類：x0
1概率1-pp
似然函式：
對數形式：
對於邏輯回歸本身求得就是偏向某類的概率hθ(x)：
邏輯回歸似然函式：
對數形式：
這裡求得極大似然估計，前面取符號，即可求得滿足代價函式的最小值，於是得到邏輯回歸的代價函式如下：
1/m不影響函式的功能。
故求得對θ的偏導為：
與線性回歸相似，正則化可以使用l1範數、l2範數，這裡使用l2範數得到的代價函式為：
至此，已經了解掌握了線性回歸、邏輯回歸的性質、代價函式的來由，推導，雖然本文並未寫出詳細步驟，但關鍵性步驟的推導已經指明，新手可以先簡要查閱相關文獻資料，簡要了解線性回歸與邏輯回歸，便可非常了解兩種回歸。學習多遍，其義自見。
一文看懂邏輯回歸
引數更新 總結多分類問題 現有20個學生投入0 6個小時學習課程的記錄，分析投入時間和是否通過考試的概率的關係。在這個問題中是否通過考試只有兩種結果 通過和不通過。可以用虛擬變數1和0分別表示。我們用y代表已知的考試結果，x為已知的投入時間，發現其中還有乙個隱藏變數 知識掌握程度，可以先設為z，假設...
邏輯回歸（一）
邏輯回歸這個名字聽起來與線性回歸有一定的相似，因為有回歸二字。實際上，邏輯回歸與線性回歸沒有什麼關係，邏輯回歸是分類模型的一種，對於任意的 x i,y i y i的取值為 0,1 本文主要從機器學習角度來闡述邏輯回歸模型，有些地方會兼顧統計學。邏輯回歸是用sigmoid函式將其值域壓縮到0，1之間。...
一文讀懂Nginx
問 nginx的負載均衡演算法有什麼？預設是什麼演算法？答 1 輪詢 按請求的時間輪詢查空閒的後端伺服器 2 指定輪詢機率 機率的原因是後端伺服器的效能不均勻，好的多分點，差的少分點 3 固定ip繫結固定伺服器 預設是加權輪詢，就是優先訪問權重高的伺服器 問 nginx是單執行緒的嗎？答 是單執行緒...