損失函式（loss function）也叫代價函式（cost function）。是神經網路優化的目標函式，神經網路訓練或者優化的過程就是最小化損失函式的過程（損失函式值小了，對應**的結果和真實結果的值就越接近
交叉熵（cross-entropy）代價函式**於資訊理論中熵的概念。是目前神經網路分類問題中（比如影象分類）常用的代價函式。
交叉熵代價函式對分類問題有乙個很好的解釋：當分類輸出正確類的結果（輸出層使用softmax函式之後的值）接近於1，即a=~1時，對應正確類的標籤為1，即y=1。則可得到，c中第一項接近於0，第二項等於0。對於非正確類，a接近於0，y=0,則c中第一項為0，第二項接近於0。故最終c接近於0；當分類輸出正確類的結果與1的差距越大，則上式c的值越大。
對數似然函式與交叉熵代價函式類似，但只考了正確類損失，不考慮錯誤類的損失，用的也比較多。與交叉熵代價函式一樣，對數似然也對分類有乙個很好的解釋：當正確類的輸出值a（輸出層只用softmax後的值）接近於1時，y=1，c接近於0；當輸出值a距離a越大時，c值越大。
損失函式優化方法
梯度下降法是求解無約束最優化問題的一種最常用方法，有實現簡單的優點。它是一種迭代演算法，每一步需要求解的目標函式的梯度向量。假設 f x 是 rn 上具有一階連續偏導數的函式。要求解的無約束最優化問題是 minx r nf x x 表示目標函式 f x 的極小點。由於負梯度方向是使函式值下降最快的方...
3 損失函式和優化
為了描述之前建立的線性分類器的分類效果，我們引入的損失函式，顧名思義，損失函式越大誤差也就越大。在下圖的任務中，將測試貓 車和青蛙輸入網路，輸出了一系列的數值，如下表。很顯然我們希望對應的分類數值越高越好，例如貓的對應cat，但是數值只有3.2，還不如對應的car的數值，所以該線性分類器會將貓這張分...
機器學習之優化演算法（一）之損失函式
分類演算法的方式有多種多樣，並沒有乙個統一的標準，這裡只是其中一種形式。上圖參考自這裡。損失函式被稱為 cost function,object function,loss function等，這裡不區分幾種用法的微小區別。機器學習離不開目標函式，我們分析一下目標函式 其中，前一項是經驗風險，後一項...