在機器學習中經常會碰到「損失函式」,「成本函式」, 和「目標函式」。在學習中理解概念是至關重要的。
todo
1、「損失函式」一般是指對單個樣本的做的損失
\[|y_i-f(x_i)|
\]2、「成本函式」一般是資料集上總的成本和損失
\[1/n\cdot\sum_^ + 正則項
\]3、「目標函式」是乙個非常廣泛的名稱
一般我們都是先確定乙個「目標函式」，再去優化它。比如在不同的任務中「目標函式」可以是：
– 最大化後驗概率map(比如樸素貝葉斯)
– 最大化適應函式(遺傳演算法)
– 最大化回報/值函式（增強學習）
– 最大化資訊增益/減小子節點純度(cart 決策樹分類器)
– 最小化平方差錯誤成本（或損失）函式（cart，決策樹回歸，線性回歸，線性適應神經元）
– 最大化log-相似度或者最小化資訊熵損失（或者成本）函式
– 最小化hinge損失函式（支援向量機svm）
損失函式 成本函式 目標函式的區別
在我剛開始學機器學習的時候也是鬧不懂這三者的區別，當然，嘿嘿，初學者的你們是不是也有那麼一丟丟迷茫呢？那麼今天咱們就把這樣的問題解決了！損失函式 損失函式一般指的是針對單個樣本 i 做的損失，公式可以表示為 當然，只是舉個例子，如果較真的話，還可以有交叉熵損失函式等。成本函式 成本函式一般是資料集上...
損失函式，成本函式和目標函式
損失函式 成本函式 當然我們也可以加上正則項 成本函式 一般我們都是先確定乙個 目標函式 再去優化它。比如在不同的任務中 目標函式 可以是 最大化後驗概率map 比如樸素貝葉斯 最大化適應函式 遺傳演算法 最大化回報 值函式 增強學習 最大化資訊增益 減小子節點純度 cart 決策樹分類器 最小化平...
深度學習之損失函式 成本函式 目標函式的基本概念
損失函式 loss function 是定義在單個訓練樣本上的，是真實值和 值的非負值函式。也就是就算乙個樣本的誤差。代價函式 cost function 是定義在整個訓練集上面的，也就是所有樣本的誤差的總和的平均，也就是損失函式的總和的平均，有沒有這個平均其實不會影響最後的引數的求解結果。1 損失...