1. 通常機器學習每個演算法都會有乙個目標函式，演算法的求解過程就是對這個目標函式優化的過程。在分類或者回歸問題中，通常使用損失函式（代價函式）作為其目標函式。損失函式用來評價模型的**值和真實值不一樣的程度。損失函式越好，通常模型的效能越好。不同的演算法使用的損失函式不一樣。
2. 損失函式分為經驗損失函式和結構損失函式。
（1）經驗風險損失函式指**結果和實際結果的差別；
（2）結構風險損失函式是指經驗風險損失函式加上正則化項。通常表示為如下：
3. 各種損失函式
（1）0-1損失函式和絕對值損失函式：
0-1損失函式是指，**值和目標值不相等為1，相等為0：
其中，感知機就是用的這種損失函式。但是由於相等這個條件太過嚴格，因此我們可以放寬條件，即滿足|y-f(x)|
而絕對值損失函式為：
（2）log對數損失函式
邏輯斯特回歸的損失函式就是對數損失函式，在logistics回歸的推導中，它假設樣本服從伯努利分布（0-1分布），然後求得滿足該分布的似然函式，接著用對數求極值。logistics回歸並滅有求對數似然函式的最大值，而是把極大化當成乙個思想，進而推導它的風險函式為最小化的負的似然函式。從損失函式的角度上，它就成為了log損失函式。
log損失函式的標準形式為:
在極大似然估計中，通常都是先取對數再求導，再找極值點，這樣做是方便計算極大似然估計。損失函式l(y,p(y|x))
是指樣本x在分類y的情況下，是概率p(y|x)達到最大值（利用已知的樣本分佈，找到最大概率導致這種分布的引數值）。
（3）最小二乘法是線性回歸的一種方法，它將回歸的問題轉化為了凸優化的問題。最小二乘法的基本原則是：最優擬合曲線應該使得所有點到回歸直線的距離和最小。通常用歐幾里得距離進行距離的度量。平方損失的損失函式為：
（4）指數損失函式
adaboost就是一指數損失函式為損失函式的。
指數損失函式的標準形式：
（5）hinge損失函式
這個式子和如下的式子非常像：
其中hinge函式的標準形式：
y是**值，在-1到+1之間，t為目標值（-1或+1）。其含義為，y的值在-1和+1之間就可以了，並不鼓勵|y|>1|y|>1，即並不鼓勵分類器過度自信，讓某個正確分類的樣本的距離分割線超過1並不會有任何獎勵，從而使分類器可以更專注於整體的分類誤差。
機器學習總結（一） 常見的損失函式
梯度消失和梯度 產生的原因 svm的原理 rf，svm和nn的優缺點 模型調優細節 如何防止過擬合 batch normalization的思想是什麼 argm in1n i 1 nl y i,f xi i argmin1n i 1nl yi,f xi i 0 1損失是指，值和目標值不相等為1，否則...
機器學習常見損失函式
損失函式作用 損失函式是用於衡量模型 值與真實值之間差距的函式，損失函式的值越小越好。常見的損失函式有如下幾種 0 1損失函式 zero one loss 當且僅當 為真的時候取值為1，否則取值為0。可以看出該損失函式過於嚴格，導致其具有非凸 非光滑的特點，使得演算法很難直接對該函式進行優化。感知損...
機器學習中常見的損失函式
一般來說，我們在進行機器學習任務時，使用的每乙個演算法都有乙個目標函式，演算法便是對這個目標函式進行優化，特別是在分類或者回歸任務中，便是使用損失函式 loss function 作為其目標函式，又稱為代價函式 cost function 損失函式是用來評價模型的 值y f x y f x 與真實值...