函式特性
在機器學習中，hinge loss是一種損失函式，
它通常用於"maximum-margin"的分類任務中，如支援向量機。數學表示式為：
假設我們現在有三個類別 而得分函式計算某張**的得分為f(x,w) = [13,-7,11]
而實際的結果是第一類 yi = 0 假設 代爾塔 = 10
上面的公式會把所有錯誤類別都遍歷一遍 求值加和
比如是3分類 a b c 會分別計算在a b c這3類的結果值
比如 b是正確分類 分數分別為 [13,-7,11]
l1 = max(0,-7-13+10) + max(0,11-13+10)
會計算他們的差值 並且加上我們設定的超引數 當這個差值大約這個超引數的時候
才認為他們的沒有誤差的
aj是我們的得分
但由於得分存在負數 用e為底做了指數運算
然後再做歸一化 把結果化到 （0-1）的區間上
這樣結果全都是概率值了
label 是[0,1,0,1] 要麼是 要麼不是
然後我們用 交叉熵 來評估2個概率分布的差異有多大
當p等於0或者等於1時，說明它帶給我們的資訊量(不確定度)就為零，因為我們百分百知道這個符號是怎麼樣的，此時熵等於0
所以直接是 -log(sj)
用hinge loss 的結果可能直接是0
但交叉熵會存在一定的distance 不管怎麼努力 還是差一些
常見損失函式深度剖析之多分類
多類交叉熵是多類別分類問題的預設損失函式，也叫softmax損失函式 softmax啟用層 交叉熵損失函式 多類交叉熵中，因類別標籤進行過0 1獨熱編碼，在輸出概率向量中，與獨熱項對應的 項才參與模型損失的貢獻。如果類別標籤過多，例如與文字詞袋相關的分類問題，標籤就有上千個，進行獨熱編碼將不利於儲存...
神經網路多分類任務的損失函式 交叉熵
神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數。對於每乙個樣例，神經網路可以得到的乙個n維陣列作為輸出結果。陣列中的每乙個維度 也就是每乙個輸出節點 對應乙個類別。在理想情況下，如果乙個樣本屬於類別k，那麼這個類別所對應的輸出節點的輸出值應該為1，而其他節點的輸出都為0。以...
神經網路多分類任務的損失函式 交叉熵
神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數。對於每乙個樣例，神經網路可以得到的乙個n維陣列作為輸出結果。陣列中的每乙個維度 也就是每乙個輸出節點 對應乙個類別。在理想情況下，如果乙個樣本屬於類別k，那麼這個類別所對應的輸出節點的輸出值應該為1，而其他節點的輸出都為0。以...