概述：
資訊使用來消除不確定性的東西
資訊不等於訊息，訊息只是資訊的載體
度量：資訊的大小是由資訊消除的不確定性的大小決定的
中國男子桌球隊獲得冠軍與中國男子足球隊獲得冠軍的資訊量完全不同
事件1的不確定性為i(p1), p1為事件1的先驗概率
資訊a消除的不確定性為i(p2)
則獲取資訊a後事件1的不確定性為i(p1) - i(p2)，可以見得，當a的不確定性為0之後，事件a就確定下來了
i的性質:
非負性 資訊量為0表示某事物已經確定下來了，不可能比0小
單調遞減 因為當發生某事的概率越大，其相對應的不確定性越小
兩個確定的函式值i(1) = 0 i(0) = +∞
兩個獨立事件的聯合資訊量等與他們各自的資訊量之和
資訊量的表示:
現在使用下面的公式表示資訊量
單位：以2為底 - bit
以e為底- 奈特
以10為底 - 哈特
術語解釋:
先驗概率:某事件在無任何附加條件下發生的概率， 如丟硬幣，其先驗概率為0.5
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論基礎
所謂的資訊，就是以前不知道現在知道的事實，如果某件事以前就知道，當別人再告訴你時，你會忽略，這件事對你的認知沒有任何影響，這就不叫資訊，反之，如果某件事以前你不知道，有人告訴你了，你現在知道了，那麼對你而言，這件事就是資訊。讓我們更進一步，看一件事帶來的資訊量的大小如何來度量。顧名思義，資訊量就是度...
資訊理論學習
條件熵和聯合熵 h x y z h x z h y x,z h x,y z h x z h y x,z h x,y z h x z h y x,z 互資訊基本性質 對稱性x,y顛倒位置相等 非負性肯定大於等於零 級值性互資訊不可能比自身還大 可加性 例題題目 25個銅幣有一枚質量不同，通過天平最少能...