交叉熵損失函式

監督學習的兩大種類是分類問題和回歸問題。

交叉熵損失函式主要應用於分類問題。

先上實現**，這個函式的功能就是計算labels和logits之間的交叉熵。

tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_)

交叉熵（cross entropy）主要用於度量兩個概率分布間的差異性資訊。

交叉熵刻畫了兩個概率分布之間的距離。

（概率分布刻畫了不同事件發生的概率，而且所有事件的概率求和為 1 ）

假設兩個概率分布p、q，p為真實分布，q為非真實分布（或**分布），通過q來表示p的交叉熵為：

交叉熵刻畫的是兩個概率分布之間的距離，但是神經網路的輸出卻不一定是乙個概率分布。

那麼如何將神經網路前向傳播得到的結果也程式設計概率分布呢？

這就需要用到softmax回歸。

首先看一下加上softmax回歸的神經網路結構圖：

從圖中可以看出softmax層其實是一層處理層，原始輸出層通過softmax層轉化成乙個概率分布，然後作為最終輸出。

假設原始的神經網路輸出為

首先我們要知道損失函式就是為了刻畫模型**值和真實值之間的差異。

上文所述，交叉熵主要用於度量兩個概率分布間的差異性資訊，刻畫了兩個概率分布之間的距離。

我們使用softmax層，它將原始的輸出層轉化成了乙個概率分布，正好可以用交叉熵損失函式。

對於交叉熵的定義可以看下這篇文章《完美解釋交叉熵》

參考書籍《tensorflow實戰google深度學習框架》

交叉熵損失函式 交叉熵損失函式和均方差損失函式引出

交叉熵 均方差損失函式，加正則項的損失函式，線性回歸 嶺回歸 lasso回歸等回歸問題，邏輯回歸，感知機等分類問題 經驗風險 結構風險，極大似然估計 拉普拉斯平滑估計 最大後驗概率估計 貝葉斯估計，貝葉斯公式，頻率學派 貝葉斯學派，概率 統計 記錄被這些各種概念困擾的我，今天終於理出了一些頭緒。概率...

交叉熵損失函式

公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...

損失函式 交叉熵

給定兩個概率分布p和q，通過q來表示p的交叉熵為 h p q xp x l ogq x large h p,q sum p x logq x h p,q x p x log q x 交叉熵刻畫的是兩個概率分布之間的距離，或可以說它刻畫的是通過概率分布q來表達概率分布p的困難程度，p代表正確答案，q代...