回歸就是通過y=wx+b得到的。
而如果是分類，則輸出層神經元個數即為類別數。例如3類，
o（i）=wx+b，i=1,2,3, 然後將輸出值o做指數變化exp（o(i)）,得到的exp（o(1)）/
exp（o(i)），即將輸出值變為和為1的概率分布。（即對輸出進行指數歸一化處理）
分類的損失函式一般用交叉熵損失函式（回歸一般用l2損失）
交叉熵的定義：,
其中y_hat是模型**值構成的向量，而y是實際類別構成的向量，實際類別中y是
只有乙個元素非零的向量（這個元素位置即為類別）。
因此交叉熵可以寫成
因此實際交叉熵損失只關心正確**類別的概率,只要足夠大（比其他類別的大）就可正確分類。
交叉熵損失函式：l（
）=, 最小化交叉熵損失函式等價於最大化訓練資料集所有標籤類別的聯合**概率。(即最大化y1，y2, y3：各正確**類別的概率)
softmax交叉熵損失函式求導
來寫乙個softmax求導的推導過程，不僅可以給自己理清思路，還可以造福大眾，豈不美哉 softmax經常被新增在分類任務的神經網路中的輸出層，神經網路的反向傳播中關鍵的步驟就是求導，從這個過程也可以更深刻地理解反向傳播的過程，還可以對梯度傳播的問題有更多的思考。softmax 柔性最大值 函式，一...
softmax回歸與交叉熵損失函式
交叉熵損失函式 在 動手學深度學習 softmax回歸一節中，交叉熵損失函式比較晦澀，學習csdn上其他部落格後有了一定了解，做此記錄 softmax回歸同線性回歸一樣，也是乙個單層神經網路，但和線性回歸不同，softmax回歸的輸出單元從乙個變成了多個，且引入了softmax運算使輸出更適合離散值...
softmax函式與交叉熵損失函式
本文主要介紹了當前機器學習模型中廣泛應用的交叉熵損失函式與softmax激勵函式。這個損失函式主要應用於多分類問題，用於衡量 值與實際值之間的相似程度。交叉熵損失函式定義如下 lce y y i 1ncl asse syi log yi l hat,y sum y i log hat lce y y...