在監督學習中，給定輸入x，可根據假設函式f(x）**輸出相應的y。這個f(x)與y可能一致，也可能不一致。用損失函式來度量**錯誤的程度。通常希望的是損失函式的值越小越好。我們一般是通過優化損失函式，把損失函式的值最小時的引數作為**函式的引數值。
常見的損失函式有：
一：0-1損失函式
二：平方損失函式
常見用於回歸問題，如線性回歸，cart樹的回歸問題，意義就是**值與真實值之間的差值越小越好。
三：絕對損失函式
與平方損失類似
四：log對數損失函式
最常見的就是用在邏輯回歸中，在邏輯回歸中我們希望後驗概率p（y|x）越大越好，在前面加了對數後，不改變其單調性。所以加了負號以後就是我們所想得到的損失函式。
五：指數損失函式
主要是見於adaboost演算法
六：hinge函式（合頁損失函式 ）
主要見於線性支援向量機演算法，
如上式，只有1-y(wx+b)大於0時，即z大於0時，損失為1-y(wx+b)。當z小於0，即1-y(wx+b)小於0時，損失為0。
機器學習（四） 損失函式
在上上一節邏輯回歸中，是使用似然函式來作為模型的求解引數的目標。但在很多情況下，似然函式很難直接寫出，更常用的方法是損失函式，這個在上上一節的補充中也有提過。那麼損失函式表示什麼概念呢？和似然函式相反，損失函式是模型 失敗的度量。注意最大化似然函式和最小化損失函式兩者並不能完全等同，因為這涉及到所選...
機器學習總結（一） 常見的損失函式
梯度消失和梯度 產生的原因 svm的原理 rf，svm和nn的優缺點 模型調優細節 如何防止過擬合 batch normalization的思想是什麼 argm in1n i 1 nl y i,f xi i argmin1n i 1nl yi,f xi i 0 1損失是指，值和目標值不相等為1，否則...
機器學習總結一 常見的損失函式
1.通常機器學習每個演算法都會有乙個目標函式，演算法的求解過程就是對這個目標函式優化的過程。在分類或者回歸問題中，通常使用損失函式 代價函式 作為其目標函式。損失函式用來評價模型的 值和真實值不一樣的程度。損失函式越好，通常模型的效能越好。不同的演算法使用的損失函式不一樣。2.損失函式分為經驗損失函...