損失函式(loss function)：是定義在單個樣本上的，用來評價模型的**值和真實值不一樣的程度，指乙個樣本的誤差。
代價函式(cost function)：定義在整個訓練集上的，是指所有樣本誤差的平均，也就是所有損失函式值的平均。
目標函式(object function)：指最終需要優化的函式，一般來說是經驗風險加結構風險（代價函式+正則化項），正則化項指懲罰項，做矯正作用。
0-1損失指**值和目標值不相等為1，否則為0。
由損失函式可以看出，**結果要麼對，要麼錯，完全不考慮**值和真實值之間的誤差程度，對於分類任務而言，的確分的要麼對要麼錯，而對於回歸任務而言，**錯誤差一點和差很多是不一樣的，但是在這種損失函式中體現不出來，這種損失侷限性較多，在實際場景中使用比較少。
絕對值損失函式是計算**值與目標值的差的絕對值。
一般用於回歸模型。
實際結果和觀測結果之間的差距的平方。
該損失函式用到了極大似然估計的思想，p(y|x)表示在當前模型的基礎上，對於樣本x，其**值為y，**正確的概率，由於概率之間同時滿足需要使用乘法，而對其取log可以把乘法轉換為加法，log函式是遞增函式，**準確率越高，p越大，取對數以後也越大，但由於損失函式應該隨著準確率增大而減小，所以前面加乙個負號。
一般用於邏輯斯蒂回歸。
一般用於整合學習演算法，比如boosting或adaboost。
一般用於分類演算法中的損失函式，尤其是用於svm中。
均方誤差指引數估計值與引數真值之差的平方的期望值，一般作為回歸問題的代價函式。
均方根誤差是均方誤差的算術平方根，一般用作回歸演算法的效能指標。
平均絕對誤差是絕對誤差的平均值，一般用作回歸演算法的效能指標。
用來估計當前訓練得到的概率分布與真實分布的差異情況，減少交叉熵損失就是在提高模型的**準確率。
其中p(x)指真實分布的概率，q(x)是模型通過資料計算出來的概率估計，一般用作分類問題的代價函式。
這一節總結了常用的損失函式和代價函式，以及明確了損失函式、代價函式和目標函式的含義，在以後的演算法中會以這些損失函式為基礎選擇適合各個演算法的損失函式，提高模型的準確率。
參考：
損失函式，代價函式，目標函式
首先給出結論 損失函式和代價函式是同乙個東西，目標函式是乙個與他們相關但更廣的概念，對於目標函式來說在有約束條件下的最小化就是損失函式 loss function 上面三個圖的函式依次為 我們給定度量擬合的程度，比如 越小，就代表模型擬合的越好。那是不是我們的目標就只是讓loss function越...
目標函式 損失函式 代價函式 區別
上面三個圖的函式依次為 f1 x f2 x f3 x 我們是想用這三個函式分別來擬合price，price的真實值記為 y。我們給定x，這三個函式都會輸出乙個f x 這個輸出的f x 與真實值y可能是相同的，也可能是不同的，為了表示我們擬合的好壞，我們就用乙個函式來度量擬合的程度。這個函式就稱為損失...
損失函式 代價函式 評分函式 目標函式
1.損失函式就是代價函式 例如 損失函式用於度量標籤的真實值和 值的誤差。常用的損失函式有 0 1損失函式，平方損失函式，期望損失函式。2.評分函式 以輸入x和權值wi為自變數的乙個函式，比如評價x屬於某個分類的可能性的分值 得分函式就是對於給定的乙個輸入，通過計算，得到這個輸入屬於每種類別的得分。...