關於rmse的問題我們以後再談。
先來看看官方給出的loss函式，我們用ys表示真實值，pred表示**值(注意，這裡是2分類問題):
loss = tf.reduce_mean( -ys*tf.log(pred) - (1-ys)*tf.log(1-pred))
如果你知道接觸過交叉熵的話，這裡我們能看到第乙個求和項-ys*tf.log(pred)就是交叉熵的寫法。
這裡不必深究，原文後續有多元分類問題，我們再介紹。
至於我們為什麼在這裡用log去算，其實涉及到資訊熵的知識。感興趣的可以搜尋一下相關資料。
正則化：
邏輯回歸的漸進性會不斷的讓損失降低直到為0 ，但是又達不到。從而會使每個指示器的權重變為負無窮或正無窮。
"當有大量罕見的特徵組合且每個樣本中僅乙個時，包含特徵組合的高維度資料會出現這種情況。"
我們可以通過以下方法來避免這種情況出現:
1. l2正則化
2. 早停法 (限制學習步數或學習速率)
3. 後面會講到的l1正則化
4. dropout在這種情況下是否有效，我還不清楚，確定的時候我再寫。
邏輯回歸損失函式
眾所周知，二分類問題的損失函式為 其中y代表標籤值 0,1 h x 代表通過假設假設函式 sigmoid 函式 計算出的函式值 概率 sigmoid 函式的取值區間為 0,1 當標籤值為1時，h x 的值為 y為1的概率，這個值越靠近0，logh x 的值就會越大，從而對loss值的懲罰也就越大 反...
線性回歸的損失函式與邏輯回歸的損失函式
xi yi 我們有如下的擬合直線 yi xi構建的損失函式是 c i 1 n yi yi 2表示每乙個訓練點 x i,yi 到擬合直線yi xi的豎直距離的平方和，通過最小化上面的損失函式可以求得擬合直線的最佳引數 這裡的損失函式之所以使用平方形式，是使用了 最小二乘法 的思想，這裡的 二乘 指的是...
邏輯回歸損失函式 cost function
邏輯回歸模型預估的是樣本屬於某個分類的概率，其損失函式 cost function 可以像線型回歸那樣，以均方差來表示 也可以用對數 概率等方法。損失函式本質上是衡量 模型預估值 到 實際值 的距離，選取好的 距離 單位，可以讓模型更加準確。1.均方差距離 left w right m left w...