一條資訊的資訊量與其不確定性有著直接的關係。資訊量就等於不確定性的多少。
如何量化資訊量的度量？ 資訊熵（entropy） 用符號h表示，單位是位元。
變數的不確定性越大，熵也就越大。
如果一本書重複的內容很多，它的資訊量就小，冗餘度就大。
不同語言的冗餘度差別很大，而漢語在所有語言中冗餘度是相對小的。
資訊和消除不確定性是相互聯絡的。
資訊是消除系統不確定性的唯一辦法（在沒有獲得任何資訊前，乙個系統就像是乙個黑盒子，引入資訊，就可以了解黑盒子系統的內部結構）
網頁搜尋的本質也是利用資訊消除不確定性的過程。
合理利用資訊，而非玩弄公式和機器學習的演算法，是做好搜尋的關鍵。
條件熵：
，也就是說多了y的資訊之後，關於x的不確定性就下降了！在統計語言模型中，如果把y看成是前乙個字，那麼在數學上就證明了二元模型的不確定性小於一元模型。
上述等號什麼時候成立？等號成立，說明增加了資訊，不確定性卻沒有降低。如果我們或缺的資訊與要研究的事物毫無關係，等號就成立。
資訊的作用在於消除不確定性，自然語言處理的大量問題就是尋找相關資訊。
夏農提出乙個「互資訊」的概念作為兩個隨機事件「相關性」的量化度量。
所謂兩個事件相關性的量化度量，就是在了解其中乙個y的前提下，對消除另乙個x不確定性所提供的資訊量。
相對熵也用來衡量相關性，但和變數的互資訊不同，它用來衡量兩個取值為正數的函式的相關性。
兩個完全相同的函式，它們的相對熵等於零。
相對熵越大，兩個函式差異越大；反之，相對熵越小，兩個函式差異越小。
對於概率分布或者概率密度函式，如果取值均大於零，相對熵可以度量兩個隨機分布的差異性。
《數學之美》 第六章 資訊的度量和作用
總結 資訊的作用在於消除不確定性 補充相對熵是用來衡量兩個取值為正數的函式的相似性，關於相對熵的3點結論 1.對於兩個完全相同的函式，它們的相對熵等於0 2.相對熵越大，兩個函式差異越大 反之相對熵越小，兩個函式差異越小 3.對於概率分布或者概率密度函式，如果取值均大於0，相對熵可以度量兩個隨機分布...
數學之美 資訊的度量
資訊有大小嗎，如何度量資訊的大小？如何度量資訊之間的關係？其實每門學科都有它的神奇之處 在日常生活中，我們應該遇到過這樣類似的情況 有的人簡單說了一句話，我們感覺這句話資訊量好大，一時緩不過神來。有的人說了一堆話，感覺和沒說一樣，半天提取不出來重點資訊。如果遇到過這種情況，我們應該有所感覺 資訊應該...
數學之美系列 4 怎樣度量資訊
發表者 吳軍，google 研究員 前言 google 一直以 整合全球資訊，讓人人能獲取，使人人能受益 為使命。那麼究竟每一條資訊應該怎樣度量呢？資訊是個很抽象的概念。我們常常說資訊很多，或者資訊較少，但卻很難說清楚資訊到底有多少。比如一本五十萬字的中文書到底有多少資訊量。直到 1948 年，夏農...