前提：
信源符號集
通道編碼後得到碼字集
接收端接收到的碼字序列
通道的特性可以用通道轉移概率矩陣p(r/c)來表示。
其中，更為重要的是通道後驗概率矩陣p(c/r)，第i行第j列的概率p(cj/ri)表示接收端接收到碼字ri時，傳送端送的是碼字cj的概率
解碼規則會對其解碼效能，即誤位元速率產生影響。具體數學上表示為：pe受通道轉移概率矩陣p(r/c)、傳送端碼字概率p( c )、解碼規則d( r )=c共同影響。因此，為了使出錯概率最小，需要採用不同的解碼規則。
若已知通道後驗概率矩陣p(c/r)，最合理的解碼規則是對每個收到的ri，取相應的最可能傳送的碼字cj作為解碼輸出，即
cj=d(ri)=argmax(p(c1/ri)、c2/ri)、…、cm/ri))
即cj=d(ri)取後驗概率矩陣p(c/r)第i行的ri裡面，p(cj/ri)最大時的cj
又或者是轉移概率矩陣p(r/c)rj同一列最大的p(ci/rj)對應的ci
注：轉移概率p(r/c)與後驗概率p(c/r)的關係：
後驗概率p(c/r)=p( c ) p( r/c ) / p( r )
上乙個準則需要知道後驗概率矩陣p(c/r)，而題目一般給的是p(r/c)。在傳送碼字等概和通道為離散無記憶對稱通道時，最佳的解碼通過最大似然解碼準則實現。
費諾不等式描述了收到碼字後依然存在的有關傳送碼字的不確定性（h(c/r)）的上限，以及影響其大小的原因（pe）。
費諾不等式：（不確定性的上限）
h(c/r)≤pelog2(m-1)+h(pe)
其中，判決的不確定性
h(pe)=-pelog2-(1-pe)log2(1-pe)
給定容量為cn的離散無記憶通道，若編碼速率r1＜cn，則r1是可達的。
其中，通道編碼速率r1=k/n。
每k位元資訊與對應的編碼輸出的乙個碼字的長度n。
歸一化通道容量cn=c/(rslog2m)
啟示：1）要資訊可靠地傳輸，要求滿足r1≤cn
2）編碼時，只要滿足r1≤cn，就可以通過某種方式同時增加資訊位k和碼字長度n，在保持r1不變的情況下，降低誤碼的概率。
求高斯通道的通道容量 資訊理論
clear,clc 一維二元高斯通道的通道容量 xn 8000 定義點數 m1 0 m2 1 訊號引數 sigma1 0.38 sigma2 0.5 高斯雜訊引數 xmin min m1 5 sigma1,m2 5 sigma2 xmax max m1 5 sigma1,m2 5 sigma2 定義...
資訊理論 離散通道及其容量筆記
1.通道容量是資訊能夠可靠傳輸的最大傳輸速率。通道容量定義為通道輸入與輸出平均互資訊的最大值。通道容量僅於通道特性，通道轉移概率有關，與通道輸入無關。但是通道輸入概率必須與通道容量進行匹配才能達到容量。2.單符號離散通道 乙個平穩離散無記憶通道的容量 c定義為輸入與輸出平均互資訊 i x y 的最大...
資訊理論實驗 通道容量迭代演算法 C 實現
熟悉通道容量的迭代演算法 學習如何將複雜的公式轉化為程式 已知 信源符號個數r，新宿符號份額數s 通道轉移概率矩陣p 輸入 任意的乙個通道轉移概率矩陣。r s p在執行時從鍵盤輸入。輸出 最佳信源分布p 通道容量c。乙個通道，若給定輸入分布q x 和轉移概率分布p y x 則輸出概率分布為 y xq...