比如寫**時搜尋資料，從乙個大方向逐步細化為明確的研究再到具體的原理、數學公式等，這個過程就是不確定性的降低。一開始需要閱覽大量相關**，明確後就變成了對某個具體的知識內容的精確搜尋，資訊量也在降低。因此「資訊量就等於不確定性的多少。」
對已知的的資訊進行排序分組能有效降低不確定性，即資訊量。
用h表示資訊熵，x表示任一隨機變數，則
h(x)=-∑x∈x p(x) log2 p(x)資訊的度量（資訊熵）
資訊熵 一條資訊的資訊量和其不確定性有著直接的關係，比如我們想弄清楚乙個非常不確定的事需要大量的資訊，可以認為資訊量就是不確定性的多少。比如錯過了世界盃，想要猜32個球隊哪只是冠軍，可以先問是1 16嗎，假如猜對了，可以繼續問1 8嗎，這樣就需要五次就可以知道哪個球隊是冠軍，所以誰是冠軍這個資訊就是...
資訊理論 資訊的度量
概述 資訊使用來消除不確定性的東西 資訊不等於訊息，訊息只是資訊的載體 度量 資訊的大小是由資訊消除的不確定性的大小決定的 中國男子桌球隊獲得冠軍與中國男子足球隊獲得冠軍的資訊量完全不同 事件1的不確定性為i p1 p1為事件1的先驗概率 資訊a消除的不確定性為i p2 則獲取資訊a後事件1的不確定...
評論《怎樣度量資訊》
google 黑板報上有乙個系列 數學之美 非常的不錯，到目前為止共有四期，鏈結分別如下 其第一期和第三期都是統計語言模型的話題，一是概述，三介紹了 hmm，統計語言模型在 nlu nlp 中的應用方興未艾，不再贅述。而二談到了中文分詞，因為有做 segword 的計畫，所以也曾經粗略的分析過中文分...