交叉熵是深度學習中的乙個重要概念，在理解交叉熵之前，需要理解以下幾個概念。
資訊量可以理解為一件事情的不確定性，就比如說，「一周有七天」，這個事情的是確定的事件，他的資訊量就很低，相反，『2023年某一天中國a股的走勢是多少』，這個關於a股走勢不確定性很多，這句話的資訊量就很大。
也就是說：概率越大，資訊量越小，概率越小，資訊量越大。概率與資訊量成反比。
資訊熵也被稱為熵，用來表示所有資訊量的期望。
期望是試驗中每次可能結果的概率乘以其結果的總和。
所以資訊量的熵可表示為：（這裡的 x x x是乙個離散型隨機變數）
如果對於同乙個隨機變數 有兩個單獨的概率分布 p ( x ) 和 q ( x ) ，則我們可以使用kl散度來衡量這兩個概率分布之間的差異。
下面直接列出公式，再舉例子加以說明。
kl散度越小，表示p（x）和q（x）越接近
首先將kl散度公式拆開
前者 h ( p ( x ) ) 表示資訊熵，後者即為交叉熵，kl散度 = 交叉熵 - 資訊熵
交叉熵可以表示為：
這個交叉熵公式就可以用在深度學習中的交叉熵損失函式，用梯度下降法求解引數。
其實這樣就是損失函式的一種形式。
接下來會講述，交叉熵在損失函式中的應用。
交叉熵損失函式 交叉熵損失函式和均方差損失函式引出
交叉熵 均方差損失函式，加正則項的損失函式，線性回歸 嶺回歸 lasso回歸等回歸問題，邏輯回歸，感知機等分類問題 經驗風險 結構風險，極大似然估計 拉普拉斯平滑估計 最大後驗概率估計 貝葉斯估計，貝葉斯公式，頻率學派 貝葉斯學派，概率 統計 記錄被這些各種概念困擾的我，今天終於理出了一些頭緒。概率...
交叉熵損失函式
公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...
交叉熵損失函式
監督學習的兩大種類是分類問題和回歸問題。交叉熵損失函式主要應用於分類問題。先上實現 這個函式的功能就是計算labels和logits之間的交叉熵。tf.nn.softmax cross entropy with logits logits y,labels y 首先乙個問題，什麼是交叉熵？交叉熵 c...