損失函式(loss function)是定義在單個訓練樣本上的，是真實值和**值的非負值函式。也就是就算乙個樣本的誤差。
代價函式(cost function)是定義在整個訓練集上面的，也就是所有樣本的誤差的總和的平均，也就是損失函式的總和的平均，有沒有這個平均其實不會影響最後的引數的求解結果。
1、「損失函式」一般是指對單個樣本的做的損失
|yi−f(xi)||yi−f(xi)|
2、「成本函式」一般是資料集上總的成本和損失
1/n⋅∑i=1n|yi−f(xi)|+正則項1/n⋅∑i=1n|yi−f(xi)|+正則項
3、「目標函式」是乙個非常廣泛的名稱
一般我們都是先確定乙個「目標函式」，再去優化它。比如在不同的任務中「目標函式」可以是：
– 最大化後驗概率map(比如樸素貝葉斯)
– 最大化適應函式(遺傳演算法)
– 最大化回報/值函式（增強學習）
– 最大化資訊增益/減小子節點純度(cart 決策樹分類器)
– 最小化平方差錯誤成本（或損失）函式（cart，決策樹回歸，線性回歸，線性適應神經元）
– 最大化log-相似度或者最小化資訊熵損失（或者成本）函式
– 最小化hinge損失函式（支援向量機svm）
損失函式 成本函式 目標函式的區別
在我剛開始學機器學習的時候也是鬧不懂這三者的區別，當然，嘿嘿，初學者的你們是不是也有那麼一丟丟迷茫呢？那麼今天咱們就把這樣的問題解決了！損失函式 損失函式一般指的是針對單個樣本 i 做的損失，公式可以表示為 當然，只是舉個例子，如果較真的話，還可以有交叉熵損失函式等。成本函式 成本函式一般是資料集上...
損失函式, 成本函式, 目標函式的區別
在機器學習中經常會碰到 損失函式 成本函式 和 目標函式 在學習中理解概念是至關重要的。todo 1 損失函式 一般是指對單個樣本的做的損失 y i f x i 2 成本函式 一般是資料集上總的成本和損失 1 n cdot sum 正則項 3 目標函式 是乙個非常廣泛的名稱 一般我們都是先確定乙個 ...
損失函式，成本函式和目標函式
損失函式 成本函式 當然我們也可以加上正則項 成本函式 一般我們都是先確定乙個 目標函式 再去優化它。比如在不同的任務中 目標函式 可以是 最大化後驗概率map 比如樸素貝葉斯 最大化適應函式 遺傳演算法 最大化回報 值函式 增強學習 最大化資訊增益 減小子節點純度 cart 決策樹分類器 最小化平...