此篇部落格為對趙悅著的《概率圖模型學習理論及其應用》學習筆記。
1.熵
熵是對隨機變數的不確定性的度量，隨機變數x的熵越大，說明它的不確定性也就越大。
2.聯合熵、條件熵、互資訊
聯合熵：借助聯合概率分布對熵的自然推廣。
條件熵：借助條件概率分布對熵的延伸。
條件熵h(x|y=y)度量的是已知y=y後，x的不確定性。
鏈規則：h(x,y)=h(x)+h(y|x)=h(y)+h(x|y)
互資訊：在觀測到y之前，x的不確定性是h(x)，通過觀測y，期望x的不確定性會變為h(x|y)，那麼i(x;y)=h(x)-h(x|y)就是對y包含多少x的資訊的乙個度量，稱為y關於x的資訊。可以證明，i(x;y)=i(y;x)，因此它又稱為x和y之間的互資訊。
條件互資訊：i(x;y|z)=h(x|z)-h(x|z,y)稱為給定z時，y關於x的資訊。易證i(x;y|z)=i(y;x|z)，於是i(x;y|z)也稱為給定z時，x和y之間的條件互資訊。
資訊理論幾個基本概念
在學習機器學習的演算法之前，需要明確幾個基本概念。1.資訊熵 entropy 熵是表示隨機變數不確定性的度量.從直觀上，資訊熵越大，變數包含的資訊量越大，變數的不確定性也越大。乙個事物內部會存在隨機性，也就是不確定性，而從外部消除這個不確定性唯一的辦法是引入資訊。如果沒有資訊，任何公式或者數字的遊戲...
資訊理論與編碼 01 資訊的概念
從現實世界到資訊世界 資訊 日常生活中，我們很少刻意區分資訊和訊息。人五官所感所得，皆可被我們歸為資訊，且核心在於資訊在自然世界與人之間傳輸，被我們主觀意識所捕獲的那個get的瞬間。如果要加以區分。資訊不等同於情報 資訊不等同於知識 資訊不等同於訊息 資訊不等同於訊號 資訊 訊息 訊號 將客觀物質運...
資訊理論 資訊的度量
概述 資訊使用來消除不確定性的東西 資訊不等於訊息，訊息只是資訊的載體 度量 資訊的大小是由資訊消除的不確定性的大小決定的 中國男子桌球隊獲得冠軍與中國男子足球隊獲得冠軍的資訊量完全不同 事件1的不確定性為i p1 p1為事件1的先驗概率 資訊a消除的不確定性為i p2 則獲取資訊a後事件1的不確定...