典型序列:
信源有p個編碼，，，，每個編碼有乙個出現的概率
那麼對於這個信源發出的n長序列
一共有pn個n長序列
其中有一小部分，出現的概率較大，稱為典型序列
其他的序列，出現的概率特別小，稱為非典型序列
計算典型序列的概率:
2-n(h(x) + ε)
<= p <= 2-n(h(x) - ε)
ε表示，將序列出現的概率》ε作為典型序列
n:序列長度
當n->∞時 典型序列出現的次數tx(n,ε) = 2nh(x)
最優二元即時碼
二元霍夫曼編碼
霍夫曼編碼:
n元霍夫曼編碼，一共有m個字元
將信源出現的概率排序
第一次取m % (n-1)個最小的進行合併
之後每次合併n個
當只剩下乙個的時候再進行展開
這樣就得到了霍夫曼編碼
展開時，從大到小使用0,1,2，，，，n-1
解題格式如下
馬爾科夫信源
馬爾科夫信源有幾種狀態si
狀態之間有概率去相互轉化
那麼通過求解線性方程組可以求出每個狀態出現的概率p(si)
通過p(si)也可以求出每個字母出現的概率
h(x|si)是在si下，信源的熵
h∞(x) = σp(si) * h(x|si) 叫做熵率
p1 p1
p2 = p.t * p2
p為概率轉移矩陣
平均碼長:
對字母按概率進行2元霍夫曼編碼
也可計算編碼的碼長
η = h(x) / (l * log r) 編碼效率 l:平均碼長 r字母的個數
通道的最佳解碼規則，最大似然解碼規則，平均差錯率
概率轉移矩陣q
q(b|a)表示當通道輸入為a時，輸出為b的概率
最大似然解碼準則
將每一列的最大值找出
對應的q(bi|aj)作為f(bi) = aj
最佳解碼準則
將q的每乙個數q(bi|aj)乘對應的p(aj)得到矩陣p
還是取找p每一列的最大值,並將其作為f(bi) = aj
平均差錯率根據編碼和矩陣p使用1-σp正確即可算出平均差錯率
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論 學習筆記
克勞德 夏農 claude shannon 美國數學家 電子工程師和密碼學家，被譽為資訊理論的創始人。資訊理論是在資訊可以量度的基礎上，研究有效和可靠的傳遞資訊的科學，它涉及資訊量度 資訊特性 資訊傳輸速率 通道容量 干擾對資訊傳輸的影響等方面的知識。資訊量是對資訊的度量。多少資訊用資訊量來衡量，我...
資訊理論基礎
所謂的資訊，就是以前不知道現在知道的事實，如果某件事以前就知道，當別人再告訴你時，你會忽略，這件事對你的認知沒有任何影響，這就不叫資訊，反之，如果某件事以前你不知道，有人告訴你了，你現在知道了，那麼對你而言，這件事就是資訊。讓我們更進一步，看一件事帶來的資訊量的大小如何來度量。顧名思義，資訊量就是度...