首先給出結論：損失函式和代價函式是同乙個東西，目標函式是乙個與他們相關但更廣的概念，對於目標函式來說在有約束條件下的最小化就是損失函式（loss function）。
上面三個圖的函式依次為
我們給定度量擬合的程度，比如：
越小，就代表模型擬合的越好。
那是不是我們的目標就只是讓loss function越小越好呢？還不是。
這個時候還有乙個概念叫風險函式(risk function)。風險函式是損失函式的期望，這是由於我們輸入輸出的平均損失稱作經驗風險(empirical risk)，即經驗風險最小化。
到這裡完了嗎？還沒有。
如果到這一步就完了的話，那我們看上面的圖，那肯定是最右面的過度學習歷史資料，導致它在真正**時效果會很不好，這種情況稱為過擬合(over-fitting)。
為什麼會造成這種結果？大白話說就是它的函式太複雜了，都有四次方了，這就引出了下面的概念，我們不僅要讓經驗風險最小化，還要讓結構風險最小化。這個時候就定義了乙個函式模型的複雜度，在機器學習中也叫正則化(regularization)。常用的有
到這一步我們就可以說我們最終的優化函式是：目標函式。
結合上面的例子來分析：最左面的平衡，最適合用來**未知資料集。
損失函式 代價函式 評分函式 目標函式
1.損失函式就是代價函式 例如 損失函式用於度量標籤的真實值和 值的誤差。常用的損失函式有 0 1損失函式，平方損失函式，期望損失函式。2.評分函式 以輸入x和權值wi為自變數的乙個函式，比如評價x屬於某個分類的可能性的分值 得分函式就是對於給定的乙個輸入，通過計算，得到這個輸入屬於每種類別的得分。...
代價函式 損失函式 目標函式的理解
loss function 是定義在單個樣本上的，算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...
損失函式 代價函式 目標函式的區別
來自 損失函式，代價函式，目標函式區別 損失函式 定義在單個樣本上，乙個樣本的誤差。代價函式 定義在整個訓練集上，所有樣本的誤差，也就是損失函式的平均。目標函式 最終優化的函式。等於經驗風險 結構風險 cost function 正則化項 目標函式和代價函式的區別還有一種通俗的區別 目標函式最大化或...