多類交叉熵是多類別分類問題的預設損失函式，也叫softmax損失函式（softmax啟用層+交叉熵損失函式）。
多類交叉熵中，因類別標籤進行過0-1獨熱編碼，在輸出概率向量中，與獨熱項對應的**項才參與模型損失的貢獻。
如果類別標籤過多，例如與文字詞袋相關的分類問題，標籤就有上千個，進行獨熱編碼將不利於儲存和運算。
在標籤體太多的情況下，就最好考慮使用稀疏多類交叉熵。
kl散度用於測量乙個概率分布與基準概率分布之間的差異性，這與交叉熵其實是很相似。
當模型是為了學習乙個複雜的函式表示，如自編碼網路、生成模型等，而非乙個分類模型，kl散度損失就更常用。
如果是用於分類模型，kl散度損失與多類交叉熵在效果上就差不多。
多分類器的損失函式
函式特性 在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 假設我們現在有三個類別 而得分函式計算某張 的得分為f x,w 13,7,11 而實際的結果是第一類 yi 0 假設 代爾塔 10 上面的公式會把所有錯誤類...
深度學習 分類問題損失函式 交叉熵
神經網路模型的效果以及優化的目標是通過損失函式 loss function 來定義的。下面主要介紹適用於分類問題和回歸問題的經典損失函式，並通過tensoflow實現這些損失函式。回顧問題請參考 回歸問題損失函式 均方誤差 本文主要介紹分類問題下的損失函式 交叉熵，如何與softmax回歸搭配使用，...
神經網路多分類任務的損失函式 交叉熵
神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數。對於每乙個樣例，神經網路可以得到的乙個n維陣列作為輸出結果。陣列中的每乙個維度 也就是每乙個輸出節點 對應乙個類別。在理想情況下，如果乙個樣本屬於類別k，那麼這個類別所對應的輸出節點的輸出值應該為1，而其他節點的輸出都為0。以...