一：資訊，訊息，訊號
資訊：是事物運動狀態或者存在方式的不確定性的描述。
訊息：是資訊的載體；例如包含資訊的語言，文字和影象等等。
訊號：是訊息的物理體現。
舉個例子，如下圖：
當收到0時，可以確定傳送的資訊是x1-x4。繼續收到01時，可以確定傳送的資訊是x3，x4。收到011時，可以確定傳送的資訊是x4。可以看出，通過獲得資訊，我們在不斷消除不確定性，，換句話說，資訊就是消除的不確定性。
上圖中，x1-x8是訊息，其中包含資訊；碼字輸出000-111是訊號，是訊息的物理體現。資訊我們從上圖中看不見，它涉及到不確定性，但是我們可以感受到。
二.夏農資訊的定義
由於資訊是由不確定描述的，因此可以用概率來度量的。
先介紹幾個概念：
這裡不確定性的大小是指傳送端到底選擇傳送哪個符號，那麼不確定性的大小一定是關於這個先驗概率的乙個函式。
資訊理論 學習筆記
克勞德 夏農 claude shannon 美國數學家 電子工程師和密碼學家，被譽為資訊理論的創始人。資訊理論是在資訊可以量度的基礎上，研究有效和可靠的傳遞資訊的科學，它涉及資訊量度 資訊特性 資訊傳輸速率 通道容量 干擾對資訊傳輸的影響等方面的知識。資訊量是對資訊的度量。多少資訊用資訊量來衡量，我...
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論學習
條件熵和聯合熵 h x y z h x z h y x,z h x,y z h x z h y x,z h x,y z h x z h y x,z 互資訊基本性質 對稱性x,y顛倒位置相等 非負性肯定大於等於零 級值性互資訊不可能比自身還大 可加性 例題題目 25個銅幣有一枚質量不同，通過天平最少能...