機器學習模型關於單個樣本的**值與真實值的差稱為損失。損失越小，模型越好，如果**值與真實值相等，就是沒有損失。
用於計算損失的函式稱為損失函式。模型每一次**的好壞用損失函式來度量。
常用的損失函式有以下幾種（引用自李航的《統計學習方法》）
0-1損失函式
0-1損失函式
二類分類任務中，**值與真實值不同，就是**錯誤，則損失是1；
**值與真實值相等，就是**正確，損失是 0，就是沒有損失。
平方損失函式
平方損失函式
**值與真實值的差的平方。**誤差越大，損失越大。好理解吧。
絕對損失函式
絕對損失函式
**值與真實值的差的絕對值。絕對值不方便計算，一般不常用。
對數損失函式
對數損失函式
對於**值是概率的情況，取對數損失。因為概率範圍[0, 1] 所以對數值是(-∞, 0) ，為了讓損失 > 0 所以取對數的負值。上面的公式裡面有個負號。看影象，一目了然哈哈：
對數曲線
機器學習筆記 損失函式
在監督學習中，由給定的輸入x，通過模型 h x 出的的 值 y，與真實值y不可能完全一致，這時，採用乙個損失函式，或者是代價函式來表示這個 錯誤的程度 損失函式值越小，模型就越好，由於模型的輸入 輸出 x，y 是隨機變數，遵循聯合分布p x,y 所以損失函式的期望是 這個函式稱為期望損失或者是風險損...
機器學習（四） 損失函式
在上上一節邏輯回歸中，是使用似然函式來作為模型的求解引數的目標。但在很多情況下，似然函式很難直接寫出，更常用的方法是損失函式，這個在上上一節的補充中也有提過。那麼損失函式表示什麼概念呢？和似然函式相反，損失函式是模型 失敗的度量。注意最大化似然函式和最小化損失函式兩者並不能完全等同，因為這涉及到所選...
機器學習損失函式梳理
沒有乙個適合所有機器學習演算法的損失函式。針對特定問題選擇損失函式涉及到許多因素，比如所選機器學習演算法的型別 是否易於計算導數以及資料集中異常值所佔比例。下文中總結了機器學習中比較重要的損失函式。均方誤差 mse 度量的是 值和實際觀測值間差的平方的均值。它只考慮誤差的平均大小，不考慮其方向。但由...