之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0～1；為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。
1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不確定的時候，不確定度就是1（例1如：我問你明天下不下雨，你告訴我說，明天不下雨的話，早上想晨跑，此時，「明天不下雨的話，早上想晨跑」這個資訊對於我想知道明天下不下雨沒有任何意義，通過這個資訊，我還是不知道明天是否會下雨）反之，當資訊完全確定的時候，那麼它的不確定度就是0（例2如：你問我現在外面在下雨嗎？我說，外面正在下雨，此時，「外面正在下雨」這個資訊已經明確了，百分百的確定了現在外面在下雨。）
如果例1當中，你又說，你不久前看了天氣預報，預報說明天有陣雨，這時，明天下不下雨的確定性就有所增加了，明天可能會下雨，相應的不確定性就減小了，也就是事物的不確定度小於1了。
所以，隨著事物不確定程度的變化，它（資訊熵）的取值範圍就在0～1之間變動。
2.資訊熵公式所求的值，則是從資訊量出發，用來定義資訊量的多少。就拿上面例子所講的，例1中，我問你明天下不下雨，你告訴我說，「明天不下雨的話，早上想晨跑，不久前剛看了天氣預報說明天會有陣雨」，其中你所講的話就是資訊，而對我所問的問題，「天氣預報說明天會有陣雨」這個資訊是有價值的，能改變我對明天是否下雨這件事的確定程度。在這裡資訊熵就是用來度量此類資訊的量，此類資訊越多，資訊熵就越大。如果例1中，你說，「明天不下雨的話，早上想晨跑，早上想吃包子，想晚點起床」，那麼對於我想知道明天是否下雨這件事，沒有任何價值，所能提供的有效資訊是0，此時，資訊熵也就是0。這裡就引出了資訊熵的乙個特性，不為負值。也就是說，資訊最少的情況就是沒有資訊，沒有資訊，就是0資訊，不存在負的資訊這玩意。
綜上，就是資訊熵兩種情況下的定義和值。
點題，可以用乙個「的」字來區分理解：
資訊熵：用來描述事物的不確定度，值0～1；
資訊的熵（類等於 資訊的量）：用來描述資訊的量，能夠減少事物不確定性的資訊越多，值越大，反之越小，且不為負值。
資訊熵與資訊熵增益
資料的資訊屬性是與任務相關的.對於分類任務,標籤值 y 包含的資訊量為 info y ln p y 其中,p y 為 y 出現的概率.p y 越小,y 包含的資訊量越大.這是符合直覺的.熵定義為資訊的期望值.乙個可以分為 m 類的資料集 s 它的資訊熵為隨機得到的乙個label包含的資訊量的期望值 ...
資訊熵 條件熵
1資訊熵以及引出條件熵 我們首先知道資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。公式如下 我們的條件熵的定義是 定義為x給定條件下，y的條件概率分布的熵對x的數學期望 這個還是比較抽象，下面我們解釋一下 設有隨機變數 x,y 其聯合概率分布為 條件熵h y x 表示...
資訊量 資訊熵 交叉熵 相對熵
1 資訊量 陳羽凡吸毒？工作室不是剛闢謠了嗎？哇！資訊量好大！在生活中，極少發生的事情最容易引起吃瓜群眾的關注。而經常發生的事情則不會引起注意，比如吃瓜群眾從來不會去關係明天太陽會不會東邊公升起。資訊量的多少與事件發生概率的大小成反比。對於已發生的事件i，其所提供的資訊量為 其中底數通常為2，負號的...