1、model：2、loss function：線性回歸損失函式由均方差來衡量；邏輯回歸由交叉熵衡量。
邏輯回歸的loss function由training data來決定，模型需確保training data分類正確率最大，假設training data為
求上述概率公式最大化即可得到模型引數。這裡做乙個轉化，將函式稍作變化，轉化為對數形式且取負號：
則loss function表示為（其中將樣本分類用1和0表示，y表示每個樣本的實際分類情況）：
由上式看出，loss function表示為實際分類與**分類結果的交叉熵
交叉熵最小時，表示二者的概率分布約接近。
3、gradient decent：在求梯度下降時，兩種情況對loss function求導得到的梯度下降表示式一致。
機器學習 線性回歸和邏輯回歸
1 線性回歸要求變數服從正態分佈，logistic回歸對變數分布沒有要求。2 線性回歸要求因變數是連續性數值變數，而logistic回歸要求因變數是分型別變數。3 線性回歸要求自變數和因變數呈線性關係，而logistic回歸不要求自變數和因變數呈線性關係 4 logistic回歸是分析因變數取某個值...
線性回歸與邏輯回歸
cost functionj 12m i 1m h x i y i hypothesish x tx 梯度下降求解 為了最小化j j j 1m i 1m h x i y i x i j 每一次迭代更新 j j 1m i 1m h x i y i x i j 正規方程求解 最小二乘法 xtx 1x t...
機器學習總結4 線性回歸
1 分類，擬合，回歸的區別？前幾天用到了matlab中的多項式擬合函式和線性回歸函式，然後發現有些概念和我理解的不一樣。我就把我對這三個概念的理解說一下。分類 在之前兩講中講的演算法pla和樸素貝葉斯都是用來解決分類問題的。在二分類中，y 1或 1。分類問題是找到乙個最好的超平面將不同的樣本分開。回...