**
機器學習的基本框架大都是模型、目標和演算法！
重要的事情說三遍！
對於乙個資料集，首先你要根據資料的特點和目的來選擇合適模型。
就你問的而言，選定的模型是logistic regression。現在既然已經選擇了模型，那麼接下來的問題是：怎麼才能讓這個模型盡可能好的擬合或者分類資料呢？那麼就需要有目標，所以要定下模型的cost function，但是cost function怎麼定呢？憑直覺隨便選嗎！不！可！能！
我們都知道，linear regression的cost function是最小二乘，即
但是logistic regression的cost function卻是
為什麼logistic regression不使用最小二乘做cost function呢？
答案是各自的響應變數
在linear regression中，前提假設是
因而，在用極大似然估計計算時，所得到的cost function自然是不一樣的。(可自行推導)
然而，只有目標是沒用的，我們還要有方法來達到目標，這裡的方法就是上述的演算法——最優化演算法。包括常用的梯度下降法(最速下降法)、牛頓法、擬牛頓法等。這樣，乙個機器學習演算法就算完整了，因為可以用這些最優化演算法來
所以！結論是：三者完全沒有可比性！
由一些前提假設和
極大似然估計從概率的角度推導出了cost function（linear中是
最小二乘，logistic中是對數似然），而
梯度下降只是乙個最優化演算法，用來優化cost function的。
最小二乘法，回歸，線性回歸，Logistic回歸
目錄 1 最小二乘法 2 回歸 3 線性回歸 4.邏輯回歸 logistic regression 這篇部落格很好，通俗易懂。最小二乘法是用來做函式擬合或者求函式極值的方法 個人理解 就是一種函式擬合的方法，通過求解使目標值和理論值誤差最小的引數，得到擬合函式，而求解的方法就是通過求導數，然後得到方...
sklearn 最小二乘線性回歸
sklearn是機器學習中的乙個常用的python第三方模組，裡面對機器學習的許多方法進行了封裝，在進行機器學習的任務時，許多常用的演算法可在這個模組中直接呼叫。並且sklearn中還提供了許多可用於分類 回歸的優質資料集。使用好sklearn最直接的方法就是仔細閱讀官方 sklearn就像是乙個模...
線性回歸 最小二乘 diabetes
資料集 特徵 age 年齡 性別 bmi 體質指數 bp 血壓 s1,s2,s3,s4,s4,s6 六種血清的化驗資料 標籤 value 一年後疾病進展的量化指標 一 載入庫 import numpy as np import pandas as pd from sklearn import dat...