1.熵用來表示所有資訊量的期望。
2.相對熵又稱kl散度,如果我們對於同乙個隨機變數 x 有兩個單獨的概率分布 p(x) 和 q(x)，我們可以使用 kl 散度（kullback-leibler (kl) divergence）來衡量這兩個分布的差異。
3.交叉熵：
相對熵=p的熵+交叉熵。
在機器學習中，我們需要評估label和predicts之間的差距，使用kl散度剛剛好。由於kl散度中的前一部分恰巧就是p的熵，p代表label或者叫groundtruth，故−h(p(x))不變，故在優化過程中，只需要關注交叉熵就可以了，所以一般在機器學習中直接用用交叉熵做loss，評估模型。
交叉熵初識 cross entropy
在資訊理論中，交叉熵是表示兩個概率分布p,q，其中p表示真實分布，q表示非真實分布，在相同的一組事件中，其中，用非真實分布q來表示某個事件發生所需要的平均位元數。假設現在有乙個樣本集中兩個概率分布p,q，其中p為真實分布，q為非真實分布。假如，按照真實分布p來衡量識別乙個樣本所需要的編碼長度的期望為...
熵與交叉熵
針對引文中的問題 如果乙個字出現的頻率為yi 則該字所使用的編碼bit數為lo g1yi 如果整段文字的概率分布都已知，那我們可以得出編碼乙個字所需的最優bit數 h y iyil og1y i 其中h y 就是熵 如果我們已知的是乙個錯誤的分布，並且使用該分布確定的編碼bit數，稱為交叉熵h y ...
資訊熵，交叉熵和相對熵
怎樣去量化資訊？一些大牛對某些問題的見解，我們會說乾貨滿滿，就代表這個見解具有很大的資訊。對於一些不太確定的事，比如一場足球比賽的結果，會有勝平負三種情況，有不確定的情況，但如果某人有直接的內幕訊息，說這場主隊穩輸，因為 這樣的乙個資訊就具有很大的資訊量了，因為不確定的事情變得十分確定。如果有人告訴...