讀文獻想要算通道容量的時候，遇到了需要用到熵和互資訊相關的推導，所以找紀佬要來資訊理論的課件拿來看了看，在這裡也是乙個記錄。
先搬上來兩個定義。
熵的定義：
互資訊量的定義：
好的，掌握到這裡基本上就ok了，但是在資訊理論研究中我們還是要經常用一點條件互資訊的東西，那麼可以用這個venn圖來看。
（圖轉侵刪）
這裡，我們的討論就把z當作所謂的「條件」來講咯。
那麼如下的四個性質是不難推出來的。值得一提的是，互資訊量中的i(x;y|z)的這個z相當於是在i(x;y)基礎上挖下來涉及z的部分，這麼一來就可以和h進行對比理解了。
和集合有所不同的是，熵和互資訊是可累加的量，也就是說h(a)+h(b)並不等於h(a+b)，而需要再加乙個i(a;b)！這一點請務必注意。
1 互資訊 資訊熵 條件互資訊 相關
參考於 資訊量可以被看成在學習 x 的值的時候的 驚訝程度 如果有人告訴我們乙個相當不可能的時間發生了,我們收到的資訊要多於我們被告知某個很可能發生的事件發生時收到的資訊。如果我們知道某件事情一定會發生,那麼我們就不會接收到資訊。於是,我們對於資訊內容的度量將依賴於概率分布p x 因此我們想要尋找乙...
熵，條件熵，互資訊，交叉熵
定義 用來度量資訊的不確定程度。解釋 熵越大，資訊量越大。不確定程度越低，熵越小，比如 明天太陽從東方公升起 這句話的熵為0，因為這個句話沒有帶有任何資訊，它描述的是乙個確定無疑的事情。例子 假設有隨機變數x，用來表達明天天氣的情況。x可能出現三種狀態 1 晴天2 雨天 3 陰天 每種狀態的出現概率...
點互資訊（PMI）和正點互資訊（PPMI）
如下 在概率論中，如果x和y無關，p x,y p x p y 如果x和y越相關，p x,y 和p x p y 的比就越大。從後兩個條件概率可能更好解釋，在y出現的條件下x出現的概率除以單看x出現的概率，這個值越大表示x和y越相關。log來自於資訊理論的理論，而且 log 1 0 也恰恰表明p x,y...