通過神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數，對每乙個樣例，神經網路都會得到乙個n維陣列作為輸出結果，每乙個維度對應乙個類別，那麼如何判斷乙個輸出向量和期望向量有多近呢？交叉熵(cross entropy)是常用的評判方法之一，交叉熵刻畫了兩個概率分布之間的距離。
交叉熵刻畫的是兩個概率分布之間的距離，但是神經網路的輸出卻不一定是乙個概率分布，所以通常使用softmax對神經網路得到的結果處理，softmax的回歸引數被去掉了，它只是一層額外的處理層，將神經網路的輸出變成乙個概率分布。
**示例：
#tf.clip_by_value 可以將乙個張量中的數值限制在乙個範圍 這裡限制範圍避免log0的出現
cross_entropy =-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
#實現了softmax回歸之後的交叉熵損失函式
cross_entropy=tf.nn.softmax_cross_entropy_with_logits(labels=y_,logits=y)
#在只有乙個正確答案的分類問題中使用tf.nn.sparse_softmax_cross_entropy_with_logits()可以進一步加速計算過程
交叉熵損失函式 交叉熵損失函式和均方差損失函式引出
交叉熵 均方差損失函式，加正則項的損失函式，線性回歸 嶺回歸 lasso回歸等回歸問題，邏輯回歸，感知機等分類問題 經驗風險 結構風險，極大似然估計 拉普拉斯平滑估計 最大後驗概率估計 貝葉斯估計，貝葉斯公式，頻率學派 貝葉斯學派，概率 統計 記錄被這些各種概念困擾的我，今天終於理出了一些頭緒。概率...
交叉熵損失函式
公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...
交叉熵損失函式
監督學習的兩大種類是分類問題和回歸問題。交叉熵損失函式主要應用於分類問題。先上實現 這個函式的功能就是計算labels和logits之間的交叉熵。tf.nn.softmax cross entropy with logits logits y,labels y 首先乙個問題，什麼是交叉熵？交叉熵 c...