1.什麼是損失函式
損失函式（loss function）是用來估量模型的**值f(x)與真實值y的不一致程度，它是乙個非負實值函式,通常使用l(y, f(x))來表示，損失函式越小，模型認為效能就越好。
2.損失函式，代價函式和目標函式的區別
損失函式：計算的是乙個樣本的誤差
代價函式：是整個訓練集上所有樣本誤差的平均
目標函式：代價函式 + 正則化項
目標函式公式：
[img]
3.損失函式種類及適用場景
3.1 0-1損失函式
0-1損失是指，**值和目標值不相等為1，否則為0：
[img]
感知機就是用的這種損失函式。但是由於相等這個條件太過嚴格，因此我們可以放寬條件，即滿足 |y−f(x)|[img]
3.2 log損失
在邏輯回歸的推導中，它假設樣本服從伯努利分布（0-1）分布，然後求得滿足該分布的似然函式，接著用對數求極值。邏輯斯特回歸並沒有求對數似然函式的最大值，而是把極大化當做乙個思想，進而推導它的風險函式為最小化的負的似然函式。從損失函式的角度上，它就成為了log損失函式。
log損失函式的標準形式：
[img]
損失函式l(y, p(y|x))表達的是樣本x在分類y的情況下，使概率p(y|x)達到最大值（換言之，就是利用已知的樣本分佈，找到最有可能（即最大概率）導致這種分布的引數值；或者說什麼樣的引數才能使我們觀測到目前這組資料的概率最大）。因為log函式是單調遞增的，所以logp(y|x)也會達到最大值，因此在前面加上負號之後，最大化p(y|x)就等價於最小化l了。
邏輯回歸的p(y=y|x)表示式如下（為了將類別標籤y統一為1和0，下面將表示式分開表示）：
[img]
將它帶入到上式，通過推導可以得到logistic的損失函式表示式，如下：
[img]
邏輯回歸最後得到的目標式子如下：
[img]
3.3 平方損失函式（最小二乘法, ordinary least squares ）
簡單，計算方便；
歐氏距離是一種很好的相似性度量標準；
在不同的表示域變換後特徵性質不變。
[img]
當樣本個數為n時，此時的代價函式變為：
[img]
y-f(x)表示的是殘差，整個式子表示的是殘差的平方和，而我們的目的就是最小化這個目標函式值（注：該式子未加入正則項），也就是最小化殘差的平方和（residual sum of squares，rss）。
而在實際應用中，通常會使用均方差（mse）作為一項衡量指標，公式如下：
[img]
3.4 指數損失函式（adaboost）
學過adaboost演算法的人都知道，它是前向分步加法演算法的特例，是乙個加和模型，損失函式就是指數函式。指數損失函式(exp-loss）的標準形式如下
[img]
可以看出，adaboost的目標式子就是指數損失，在給定n個樣本的情況下，adaboost的損失函式為：
[img]
3.5 hinge損失函式
[img]
hinge 損失函式的標準形式
[img]
3.6 絕對值損失函式
[img]
4.總結
不同的演算法使用的損失函式不一樣，要根據相應模型來選擇損失函式。
[img]
損失函式總結
本篇文章介紹一下tensorflow中必須要掌握的基礎知識點,就是損失函式,因為最終訓練迭代優化就是損失函式,那麼總體來說它可以分為兩大類 1 以回歸為主 mse 均方根誤差 2 以分類為主 softmax 交叉熵 3 根據特定場景 自定義損失函式 接下來我們具體來通過 講解每種具體的例項 首先我們...
損失函式總結
注意 當我們用mse做為損失函式的時候，最好別用sigmoid，tanh這類的啟用函式。從數學的角度來理解，sigmoid函式當x趨於正無窮或者負無窮的時候，函式值接近於1和0，也就是當自變數大於一定值的時候，函式變得非常平緩，斜率比較小，甚至變為0。然後當斜率很小的時候，他的導數就很小，而bp在反...
損失函式總結
損失函式對於機器學習演算法來說是至關重要的一環，大部分機器學習演算法都是通過梯度下降來進行學習的。下降的目標就是讓損失函式達到最小值。回歸損失函式 回歸的損失函式比較少，常見的有mse,mae,rmse,也比較好理解，就是 值和真實值直接的差距最小。分類損失函式 分類損失函式的種模擬較多，常見的分類...