在資訊理論中，交叉熵是表示兩個概率分布p,q，其中p表示真實分布，q表示非真實分布，在相同的一組事件中，其中，用非真實分布q來表示某個事件發生所需要的平均位元數。假設現在有乙個樣本集中兩個概率分布p,q，其中p為真實分布，q為非真實分布。假如，按照真實分布p來衡量識別乙個樣本所需要的編碼長度的期望為：
但是，如果採用錯誤的分布q來表示來自真實分布p的平均編碼長度，則應該是：
此時就將h(p,q)稱之為交叉熵。交叉熵的計算方式如下：
到這裡自己有兩個地方不明白：
熵與交叉熵
針對引文中的問題 如果乙個字出現的頻率為yi 則該字所使用的編碼bit數為lo g1yi 如果整段文字的概率分布都已知，那我們可以得出編碼乙個字所需的最優bit數 h y iyil og1y i 其中h y 就是熵 如果我們已知的是乙個錯誤的分布，並且使用該分布確定的編碼bit數，稱為交叉熵h y ...
cross entropy交叉熵 相對熵
1.熵用來表示所有資訊量的期望。2.相對熵又稱kl散度,如果我們對於同乙個隨機變數 x 有兩個單獨的概率分布 p x 和 q x 我們可以使用 kl 散度 kullback leibler kl divergence 來衡量這兩個分布的差異。3.交叉熵 相對熵 p的熵 交叉熵。在機器學習中，我們需要...
資訊熵，交叉熵和相對熵
怎樣去量化資訊？一些大牛對某些問題的見解，我們會說乾貨滿滿，就代表這個見解具有很大的資訊。對於一些不太確定的事，比如一場足球比賽的結果，會有勝平負三種情況，有不確定的情況，但如果某人有直接的內幕訊息，說這場主隊穩輸，因為 這樣的乙個資訊就具有很大的資訊量了，因為不確定的事情變得十分確定。如果有人告訴...