q：為什麼會提及關於代價函式的理解？
a：在 ml 中線性回歸、邏輯回歸等總都是繞不開代價函式。
理解代價函式：是什麼？
作用原理？
為什麼代價函式是這個？
1、代價函式是什麼？
代價函式就是用於找到最優解的目的函式，這也是代價函式的作用。
損失函式（loss function ）是定義在單個樣本上的，算的是乙個樣本的誤差。
代價函式（cost function ）是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。
目標函式（object function）定義為：最終需要優化的函式。等於經驗風險+結構風險（也就是cost function + 正則化項）。
2、代價函式作用原理
對於回歸問題，我們需要求出代價函式來求解最優解，常用的是平方誤差代價函式。
比如，對於下面的假設函式:
裡面有 θ0 和 θ1 兩個引數，引數的改變將會導致假設函式的變化，比如：
現實的例子中，資料會以很多點的形式給我們，我們想要解決回歸問題，就需要將這些點擬合成一條直線，找到最優的 θ0 和 θ1 來使這條直線更能代表所有資料。
而如何找到最優解呢，就需要使用代價函式來求解了，以平方誤差代價函式為例。
從最簡單的單一引數來看，假設函式為：
平方誤差代價函式的主要思想就是將實際資料給出的值與我們擬合出的線的對應值做差，求出我們擬合出的直線與實際的差距。
為了使這個值不受個別極端資料影響而產生巨大波動，採用類似方差再取二分之一的方式來減小個別資料的影響。
這樣，就產生了代價函式：
而最優解即為代價函式的最小值，根據以上公式多次計算可得到代價函式的影象：
解（求導）：可以看到該代價函式的確有最小值，這裡恰好是橫座標為 1 的時候。
如果更多引數的話，就會更為複雜，兩個引數的時候就已經是三維影象：
高度即為代價函式的值，可以看到它仍然有著最小值的，而到達更多的引數的時候就無法像這樣視覺化了，但是原理都是相似的。
因此，對於回歸問題，我們就可以歸結為得到代價函式的最小值：
3、為什麼代價函式是這個？
首先思考：什麼是代價？
簡單理解代價就是**值和實際值之間的差距（兩點之間的距離），那對於多個樣本來說，就是差距之和。
代價的正負問題：
如果直接使用，這個公式看起來就是表示假設值和實際值之差，再將每乙個樣本的這個差值加起來不就是代價了嗎，但是想一下，如果使用這個公式，那麼就單個樣本而言，代價有正有負，全部樣本的代價加起來有可能正負相抵，所以這並不是乙個合適的代價函式。
解決有正有負的問題：
使用絕對值函式來表示代價，為了方便計算最小代價（計算最小代價可能用到最小二乘法），直接使用平方來衡量代價，即使用絕對值的平方來表示單個樣本的代價，那麼乙個資料集的代價為：
是否使用平方之和就沒有什麼問題了？
代價函式應該與樣本的數量有關，否則乙個樣本和 m 個樣本的差距平方和之間的比較也沒有多少意義，所以將 m 個樣本的代價之和 乘以 1/2m，即代價函式為：
至於，取 2m 而非 m，是為了方便計算。
代價函式 損失函式 目標函式的理解
loss function 是定義在單個樣本上的，算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...
代價敏感曲線理解
1.參考 2.理解 roc主要考量均等代價，代價敏感曲線主要考量非均等代價。兩者都是衡量某一學習器在不同場景下的綜合表現情況，而不是單一場景。roc通過閾值變化來體現不同場景，即高閾值表現了重視查準率的場景，低閾值則重視查全率的場景。代價敏感曲線則是通過p值，即正例的先驗概率即原本正例佔比的變化來體...
代價函式 cost function
在監督學習的回歸問題中，代價函式就是用於找到最優解的目的函式，反應了 函式的準確性。代價函式的值越小，說明在回歸問題的中，電腦程式對資料擬合的越好。也就是假設函式越正確。比如，對於這個假設函式 可以看成是求房價的假設函式 代價函式是 也就是 值與真實值的差的平方和，再除以2m 2倍樣本數量 在假設函...