真實分別 p 非真實分布 q (p對於機器學習的label, q代表**結果)
資訊熵：
交叉熵 ：h(p, q) =
相對熵：
h = 1/2 * 1 + 1/4 * 2 + 1/8 * 3 + 1/8 * 3= 1.75
爸爸已經告訴小明這些小球的真實分布是（1/2，1/4, 1/8，1/8），但小明所選擇的策略卻認為所有的小球出現的概率相同，相當於忽略了爸爸告訴小明關於箱子中各小球的真實分布，而仍舊認為所有小球出現的概率是一樣的，認為小球的分布為（1/4，1/4，1/4，1/4），這個分布就是非真實分布。此時，小明猜中任何一種顏色的小球都需要猜兩次， 即 資訊熵：1/2 * 2 + 1/4 * 2 + 1/8 * 2 + 1/8 * 2 = 2。 (p*log(1/p)) 求和 很明顯，針對題目2，使用策略1是乙個壞的選擇，因為需要猜題的次數增加了，從1.75變成了2，小明少玩了1.75的王者榮耀呢。因此，當我們知道根據系統的真實分布制定最優策略去消除系統的不確定性時，我們所付出的努力是最小的，但並不是每個人都和最強王者一樣聰明，我們也許會使用其他的策略（非真實分布）去消除系統的不確定性，就好比如我將策略1用於題目2（原來這就是我在**的原因），那麼，當我們使用非最優策略消除系統的不確定性，所需要付出的努力的大小我們該如何去衡量呢？這就需要引入交叉熵，其用來衡量在給定的真實分布下，使用非真實分布所指定的策略消除系統的不確定性所需要付出的努力的大小。
資訊熵的理解
資訊熵的定義式 h x 通過以上的式子求和的單項，我們可以理解的是他表示x xi發生的概率為pi，那麼產生一次x xi的次數應該需要1 pi次，要在1 pi次中找到x xi的那個特定的點，需要對這些次數進行搜尋，至少需要尋找log 1 pi 次，每次找到的概率是pi，所以pi log 1 pi 表示...
資訊熵 交叉熵公式的理解
代表 資訊量 不確定度 的大小。變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。二 資訊熵的公式定義 h x e log2 p x 1 ip xi log2 p xi 1h x e log 2 p x sum p x i log 2p x i h x e log 2 p x 1 i...
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...