損失函式和代價函式沒有明確的界限，都是用來評估模型的**效能的好壞。
交叉熵損失函式可以**真實值和**值之間的區別，通過loss值來判斷**模型之間的好壞。交叉熵損失函式經常用於分類問題中，特別是在神經網路做分類問題時，也經常使用交叉熵作為損失函式，
此外，由於交叉熵涉及到計算每個類別的概率，所以交叉熵損失函式幾乎每次都是和sigmoid或者softmax函式一起使用。每個模型都是通過損失函式計算的誤差來判斷模型的**能力，
損失函式小的代表模型的**能力較強。改文章參考**：
可以看出，該損失函式的意義就是，當**錯誤時，損失函式值為1，**正確時，損失函式值為0。該損失函式不考慮**值和真實值的誤差程度，也就是只要**錯誤，**錯誤差一點和差很多是一樣的。
該損失函式的意義也很簡單，就是取**差距的平方。
該損失函式的意義和上面差不多，只不過是取了絕對值而不是求絕對值，差距不會被平方放大。
這個損失函式就比較難理解，事實上，該損失函式用到了極大似然估計的思想， p(y|x)通俗的解釋就是：在當前模型的基礎上，對於樣本x，其**值為y，也就是**正確的概率。由於概率之間的同時滿足需要使用乘法，為了將其轉化為加法，我們將其取對數。最後由於是損失函式，所以**正確的概率越高，其損失值應該是越小，因此再加個負號取個反。
交叉熵損失函式 交叉熵損失函式和均方差損失函式引出
交叉熵 均方差損失函式，加正則項的損失函式，線性回歸 嶺回歸 lasso回歸等回歸問題，邏輯回歸，感知機等分類問題 經驗風險 結構風險，極大似然估計 拉普拉斯平滑估計 最大後驗概率估計 貝葉斯估計，貝葉斯公式，頻率學派 貝葉斯學派，概率 統計 記錄被這些各種概念困擾的我，今天終於理出了一些頭緒。概率...
交叉熵損失函式
公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...
交叉熵損失函式
監督學習的兩大種類是分類問題和回歸問題。交叉熵損失函式主要應用於分類問題。先上實現 這個函式的功能就是計算labels和logits之間的交叉熵。tf.nn.softmax cross entropy with logits logits y,labels y 首先乙個問題，什麼是交叉熵？交叉熵 c...