1.
通道容量是資訊能夠可靠傳輸的最大傳輸速率。通道容量定義為通道輸入與輸出平均互資訊的最大值。通道容量僅於通道特性，通道轉移概率有關，與通道輸入無關。但是通道輸入概率必須與通道容量進行匹配才能達到容量。 2.
單符號離散通道
乙個平穩離散無記憶通道的容量
c定義為輸入與輸出平均互資訊
i(x;y
）的最大值，即
c=max i(x;y）
c為通道傳輸最大資訊速率能力的度量 3.
無損通道：每乙個輸入符號對應多個輸出符號。
c=logr。r
為輸入符號集的大小。
確定通道：每乙個輸出符號對應多個輸入符號。
c=logs。s
為輸出符號集的大小。
無損確定通道：每乙個輸入對應乙個輸出。
c= logs=logr;
4.對稱通道：通道轉移概率矩陣按輸出可以分為若干子集，每個子集都具以下特徵：每一行是其他行的置換，每一列是其他列的置換，則通道成為準對稱通道。 5.
轉移概率矩陣可分為多個子集的對稱通道稱為準對稱或弱對稱通道。只有乙個子集的通道稱為強對稱通道。 6.
對於離散對稱通道，當輸入等概率時達到通道容量，且通道容量為
c=h(y)-h(p11,p12,……p1s).
7.關於通道容量的注釋： 1
達到通道容量時的輸入概率分布不唯一。 2
達到容量時的輸出概率嚴格為正。 3
對應於通道容量的輸出概率時唯一的。可以證明，如果兩個輸入概率達到同樣容量，那麼都對應著相同的輸出分布。
求高斯通道的通道容量 資訊理論
clear,clc 一維二元高斯通道的通道容量 xn 8000 定義點數 m1 0 m2 1 訊號引數 sigma1 0.38 sigma2 0.5 高斯雜訊引數 xmin min m1 5 sigma1,m2 5 sigma2 xmax max m1 5 sigma1,m2 5 sigma2 定義...
資訊理論實驗 通道容量迭代演算法 C 實現
熟悉通道容量的迭代演算法 學習如何將複雜的公式轉化為程式 已知 信源符號個數r，新宿符號份額數s 通道轉移概率矩陣p 輸入 任意的乙個通道轉移概率矩陣。r s p在執行時從鍵盤輸入。輸出 最佳信源分布p 通道容量c。乙個通道，若給定輸入分布q x 和轉移概率分布p y x 則輸出概率分布為 y xq...
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...