1.損失函式就是代價函式
例如：
損失函式用於度量標籤的真實值和**值的誤差。
常用的損失函式有：0-1損失函式，平方損失函式，期望損失函式。
2.評分函式
以輸入x和權值wi為自變數的乙個函式，比如評價x屬於某個分類的可能性的分值；
得分函式就是對於給定的乙個輸入，通過計算，得到這個輸入屬於每種類別的得分。比如我們現在有三個類別：小貓、小狗和青蛙，對於一張給定的，計算出這個是小貓的得分，是小狗的得分以及是青蛙的得分。
對於中間的計算過程：
3.目標函式
上面三個圖的函式依次為,,
。我們是想用這三個函式分別來擬合price，price的真實值記為
。我們給定
，這三個函式都會輸出乙個
,這個輸出的
與真實值
可能是相同的，也可能是不同的，為了表示我們擬合的好壞，我們就用乙個函式來度量擬合的程度，比如：
，這個函式就稱為損失函式(loss function)，或者叫代價函式(cost function)。損失函式越小，就代表模型擬合的越好。
那是不是我們的目標就只是讓loss function越小越好呢？還不是。
這個時候還有乙個概念叫風險函式(risk function)。風險函式是損失函式的期望，這是由於我們輸入輸出的
遵循乙個聯合分布，但是這個聯合分布是未知的，所以無法計算。但是我們是有歷史資料的，就是我們的訓練集，
關於訓練集的平均損失稱作經驗風險(empirical risk)，即
，所以我們的目標就是最小化
，稱為經驗風險最小化。
到這裡完了嗎？還沒有。
如果到這一步就完了的話，那我們看上面的圖，那肯定是最右面的
的經驗風險函式最小了，因為它對歷史的資料擬合的最好嘛。但是我們從圖上來看
肯定不是最好的，因為它過度學習歷史資料，導致它在真正**時效果會很不好，這種情況稱為過擬合(over-fitting)。
為什麼會造成這種結果？大白話說就是它的函式太複雜了，都有四次方了，這就引出了下面的概念，我們不僅要讓經驗風險最小化，還要讓結構風險最小化。這個時候就定義了乙個函式
，這個函式專門用來度量模型的複雜度，在機器學習中也叫正則化(regularization)。常用的有
,範數。到這一步我們就可以說我們最終的優化函式是：
，即最優化經驗風險和結構風險，而這個函式就被稱為目標函式。
結合上面的例子來分析：最左面的
結構風險最小（模型結構最簡單），但是經驗風險最大（對歷史資料擬合的最差）；最右面的
經驗風險最小（對歷史資料擬合的最好），但是結構風險最大（模型結構最複雜）;而
達到了二者的良好平衡，最適合用來**未知資料集。
損失函式，代價函式，目標函式
首先給出結論 損失函式和代價函式是同乙個東西，目標函式是乙個與他們相關但更廣的概念，對於目標函式來說在有約束條件下的最小化就是損失函式 loss function 上面三個圖的函式依次為 我們給定度量擬合的程度，比如 越小，就代表模型擬合的越好。那是不是我們的目標就只是讓loss function越...
代價函式 損失函式 目標函式的理解
loss function 是定義在單個樣本上的，算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...
損失函式 代價函式 目標函式的區別
來自 損失函式，代價函式，目標函式區別 損失函式 定義在單個樣本上，乙個樣本的誤差。代價函式 定義在整個訓練集上，所有樣本的誤差，也就是損失函式的平均。目標函式 最終優化的函式。等於經驗風險 結構風險 cost function 正則化項 目標函式和代價函式的區別還有一種通俗的區別 目標函式最大化或...