在前面介紹的《邏輯回歸是個什麼邏輯》中，我們構建的邏輯回歸模型是： p(
y=1|
x;θ)
=11+
e−θt
x 在模型的數學形式確定後，剩下的就是如何去求解模型中的引數
θ 。而在已知模型和一定樣本的情況下，估計模型的引數，在統計學中常用的是極大似然估計方法。即找到一組引數
θ ，使得在這組引數下，樣本資料的似然度（概率）最大。對於極大似然估計，可以參考下前期文章《
極大似然估計》。
對於邏輯回歸模型，假定的概率分布是伯努利分布，根據伯努利分布的定義，其概率質量函式pmf為： p(
x=n)
={1−
pn=0
pn=1
所以，似然函式可以寫成： l(
θ)=∏
i=1m
p(y=
1|xi
)yip
(y=0
|xi)
1−yi
對數似然函式則為： lnl
(θ)=
∑i=1
m[yi
lnp(y
=1|x
i)+(
1−yi
)lnp(
y=0|
xi)]
lnl(
θ)=∑
i=1m
[yiln
p(y=
1|xi
)+(1
−yi)
ln(1−
p(y=
1|xi
))]
而在機器學習領域，我們經常使用損失函式（loss function,或稱為代價函式，cost function）來衡量模型**的好壞。常用的有0-1損失，平方損失，絕對損失，對數損失等。其中對數損失在單個資料點上的定義為：
cost(y
,p(y
|x))
=−yln
p(y|
x)−(
1−y)
ln(1−
p(y|
x))
全體樣本的損失函式則可表達為：
cost(y
,p(y
|x))
=−∑i
=1m[
yilnp
(yi|
xi)+
(1−y
i)ln(
1−p(
yi|x
i))]
可以看到，這個對數損失函式與上面的極大似然估計的對數似然函式本質上是等價的。所以邏輯回歸直接採用對數損失函式來求引數，實際上與採用極大似然估計來求引數是一致的。
邏輯回歸損失函式
眾所周知，二分類問題的損失函式為 其中y代表標籤值 0,1 h x 代表通過假設假設函式 sigmoid 函式 計算出的函式值 概率 sigmoid 函式的取值區間為 0,1 當標籤值為1時，h x 的值為 y為1的概率，這個值越靠近0，logh x 的值就會越大，從而對loss值的懲罰也就越大 反...
邏輯回歸損失函式 cost function
邏輯回歸模型預估的是樣本屬於某個分類的概率，其損失函式 cost function 可以像線型回歸那樣，以均方差來表示 也可以用對數 概率等方法。損失函式本質上是衡量 模型預估值 到 實際值 的距離，選取好的 距離 單位，可以讓模型更加準確。1.均方差距離 left w right m left w...
線性回歸的損失函式與邏輯回歸的損失函式
xi yi 我們有如下的擬合直線 yi xi構建的損失函式是 c i 1 n yi yi 2表示每乙個訓練點 x i,yi 到擬合直線yi xi的豎直距離的平方和，通過最小化上面的損失函式可以求得擬合直線的最佳引數 這裡的損失函式之所以使用平方形式，是使用了 最小二乘法 的思想，這裡的 二乘 指的是...