github部落格傳送門
csdn部落格傳送門
損失函式的迭取取決於輸入標籤資料的型別:如果輸入的是實數,無界的值,損失函式使用平方差;如果輸入的標籤是位向量(分類標誌)使用交叉熵會更合適
均值平方差(mean squared error, mse)也稱均方誤差
神經網路中:表達**值與真實值之間的差異
數理統計中:指引數估計值與引數真值之差平方的期望值
均方誤差的值越小,表明模型越好
均方誤差是指引數估計值與引數真值之差平方的期望值;
mse可以評價資料的變化程度，mse的值越小，說明**模型描述實驗資料具有更好的精確度。
$$ mse = \frac\sum_^\left ( obersved_ - predicted_ \right )^ $$
程式寫法:
mse=tf.reduce_mean(tf.pow(tf.sub(logits, outputs), 2.0))
mse=tf.reduce_mean(tf.square(tf.sub(logits, outputs)))
mse=tf.reduce_mean(tf.square(logits - outputs))
$$ rmse = \sqrt\sum_^ \left ( obersved_ - predicted_ \right)^ } $$
程式寫法:
rmse=tf.sqrt(tf.reduce_mean(tf.pow(tf.sub(logits, outputs), 2.0)))平均絕對誤差能更好地反映**值誤差的實際情況.
$\widehat$ 表示**值 $y$ 表示真實值
$$ mae = \frac\sum_^\left | (\widehat-y) \right | $$
程式寫法:
mae=tf.reduce_mean(tf.abs(tf.sub(logits, label)))$u$表示平均值$\left ( u = \frac\left ( x_+\cdot \cdot \cdot + x_ \right ) \right )$
$$ sd = \sqrt\sum_^\left ( x_-u \right )^} $$
程式寫法:
sd=tf.sqrt(tf.reduce_mean(tf.pow(tf.sub(x_i-u), 2.0)))常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...
損失函式 損失函式 Hinge
本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 其中 表示 輸出，通常都是軟結果 就是說輸出不是0，1這種，可能是0.87。表示正確的類別。其函式影...
gan網路損失函式 GAN的損失函式
理解生成對抗網路的關鍵在於理解gan的損失函式 js散度 gan實際是通過對先驗分布施加乙個運算g,來擬合乙個新的分布 如果從傳統的判別式網路的思路出發，只要選定合適的loss，就可以使生成分布和真實分布之間的距離盡可能逼近 kl散度經常用來衡量分布之間距離 但kl散度是不對稱的。不對稱意味著，對於...