開始之前我們先進入數字識別這樣乙個場景：以識別數字1為例，神經網路模型的輸出結果越接近[0,1,0,0,0,0,0,0,0,0]越好。神經網路解決多分類的問題，最常見的方法是設定n個輸出節點，其中n類別個數，那麼上述數字判斷就應該有n=10個輸出。那麼如何判斷乙個輸出向量和期望向量的接近程度呢？交叉熵(cross entropy)是常用的評判方法之一，其實交叉熵刻畫了兩個概率分布之間的距離，它是分類問題中試用比較廣泛的一種損失函式。
通過以上場景我們對損失函式有了乙個基本的概念，但是神經網路的輸出卻不一定是乙個概率分布，概率分布不能夠刻畫不同事件發生的概率，softmax可以將神經網路的輸出變成乙個概率分布。給定兩個概率分布p和q，通過q來表示p的交叉熵為：
若原始的神經網路輸出為,那麼進過softmax回歸處理之後輸出為：
以上公式中神經網路輸出被用作置信度來生成新的輸出，而新的輸出滿足概率分布的所有要求，這樣就把乙個神經網路的輸出轉換成為了乙個概率分布，也就可以通過交叉熵的計算**概率分布和真實答案分布之間的距離了。假設乙個三分類問題，某個樣例的正確答案是（1,0,0），某乙個模型經過softmax回歸之後的**答案是（0.5,0.4,0.1）那麼整個**和正確答案之間的交叉熵為：
如果另外乙個模型的**值時（0.8,0.1,0.1）那麼**值和真實值之間的交叉熵是：
故，交叉熵越小那麼**結果和真實結果就越接近。
與分類問題不一樣，回歸問題解決的是對具體數值的**。比如房價**，銷售**等都是回歸問題。這些問題是不需要事先定義好類別，而是任意乙個實數。解決回歸問題的神經網路一般只有乙個輸出節點，這個節點輸出就是**值。這種問題最常見的損失函式為(mse mean squared error)：
為乙個batch中第i個資料的正確答案，而為神經網路輸出的**值。
神經網路損失函式
2018,aug 3 顧名思義，從標題就能知道損失函式 loss function 一定就是來計算神經網路在訓練中的損失的。說完了定義那到了舉例時間了 主要拿softmax loss來分析 這裡的k也就是我們分類的類別。然後這個函式是怎麼用的呢，我們可以簡單的舉乙個分類的例子來看下。假設我們輸入一張...
神經網路 損失函式
先上結論 在使用sigmoid作為啟用函式的時候，cross entropy相比於quadratic cost function，具有收斂速度快，更容易獲得全域性最優的特點 使用softmax作為啟用函式，log likelihood作為損失函式，不存在收斂慢的缺點。對於損失函式的收斂特性，我們期望...
神經網路之損失函式
對於損失函式一直處於混亂理解的狀態，l2 1 2 a y 2 對於其他的類似於交叉資訊熵感覺很高大上的樣子，但是到底是怎麼回事呢？今天我就一 竟！我們都知道，神經網路模型訓練得以實現是經過前向傳播計算loss，根據loss的值進行反向推到，進行相關引數的調整。可見，loss是指導引數進行調整的方向性...