資訊熵：一條資訊的資訊量和其不確定性有著直接的關係，比如我們想弄清楚乙個非常不確定的事需要大量的資訊，可以認為資訊量就是不確定性的多少。
比如錯過了世界盃，想要猜32個球隊哪只是冠軍，可以先問是1-16嗎，假如猜對了，可以繼續問1-8嗎，這樣就需要五次就可以知道哪個球隊是冠軍，所以誰是冠軍這個資訊就是5.
有些人發現可能不需要五次就能猜出來誰是冠軍，因為有些球隊奪冠的可能性更大一些，因此猜的時候可以把大概率贏的球隊分在一邊，這樣猜測也許三到四次就可以猜出來。當每支球隊奪冠的可能性不等時，誰是冠軍的資訊量比5少，夏農指出，它的準確資訊量應該是
來自《數學之美》
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...
資訊熵與資訊熵增益
資料的資訊屬性是與任務相關的.對於分類任務,標籤值 y 包含的資訊量為 info y ln p y 其中,p y 為 y 出現的概率.p y 越小,y 包含的資訊量越大.這是符合直覺的.熵定義為資訊的期望值.乙個可以分為 m 類的資料集 s 它的資訊熵為隨機得到的乙個label包含的資訊量的期望值 ...
資訊的度量
比如寫 時搜尋資料，從乙個大方向逐步細化為明確的研究再到具體的原理 數學公式等，這個過程就是不確定性的降低。一開始需要閱覽大量相關 明確後就變成了對某個具體的知識內容的精確搜尋，資訊量也在降低。因此 資訊量就等於不確定性的多少。對已知的的資訊進行排序分組能有效降低不確定性，即資訊量。用h表示資訊熵，...