claude elmwood shannon於2023年首先確立了現代資訊理論。
1、資訊量（amount of information）：假設所有訊息是等可能的，對訊息中所有可能的值進行編碼所需要的最少位數。
例如：資料庫中有關「一周中的每一天」這一字段包含不超過3位的資訊，因為此訊息可以用3位進行編碼：
000=星期日
001=星期一
010=星期二
011=星期三
100=星期四
101=星期五
110=星期六
111是未用的
2、熵（entropy）：一條訊息m的資訊量可以通過熵來度量，表示為h（m）。通常，一條訊息的熵是lo
g2n log
2n
，其中n是訊息所有可能的值（假設每乙個值是等可能的）。
在密碼系統中，熵h(
k)=l
og2kh(
k)=l
og2k
，k為金鑰空間大小。一般說來，熵越大，破譯越困難。
例如，金鑰為64位的密碼系統的熵為64，金鑰為56位的密碼系統的熵為56。
一條訊息的熵也表示了它的不確定性（uncertainty），即當訊息被加密稱密文時，為了獲取明文，需要解密的明文的位數。例如，如果乙個密文解密後要麼是「男」，要麼是「女」，那麼此訊息的不確定性就是1。密碼分析者為了恢復此訊息，僅需選擇1位。
3、語言資訊率（rate of language）：r=h（m）/n，其中n是訊息的長度。
絕對資訊率（absolute rate）：假設每個字串都是等可能的，對每個字母而言可被編碼的最大位數。如果在一種語言中，共有l個字母，則其絕對資訊率為r=
log2
l r=l
og2l
，這就是單個字母的最大熵。
一種資訊的冗餘度（redundancy）：稱為d，d=r-r。
密碼分析者的目的是獲取金鑰k或明文p，或兩者都有。在分析前，一般情況下已經具有一些關於明文p的統計資訊，比如知曉明文的語言，而這個語言有有乙個確定的與之相關的冗餘度。密碼分析者就根據這個冗餘度來減少可能的明文數目，最終確定明文。冗餘度越大，越容易被攻擊。因此，在加密明文前，經常需要乙個壓縮程式以減少明文大小。實際上，在加、解密時均須壓縮處理以降低訊息的冗餘度。
4、混亂和擴散
shannon提出了兩種隱藏明文訊息中冗餘度的基本技術：混亂（confusion）和擴散（diffusion）。
混亂：用於掩蓋明文和密文之間的關係，以挫敗通過研究密文以獲取冗餘度和統計模式的企圖。最簡單的方法就是通過代替。
擴散：將明文冗餘度分散到密文中使之分散開來，密碼分析者需求這些冗餘度會更困難。最簡單的方法就是換位（也稱置換）。
值得說明的是：雖然序列密碼的一些反饋設計加進了擴散，但它只依賴於混亂。分組密碼演算法既用到混亂，也用到擴散。通常，單獨用擴散容易被攻破（即使二重換位密碼優於其它的許多手工密碼）。
5、唯一解距離u（unidty distance），也稱唯一解點：
唯一解距離不是對密碼分析需要多少密文的度量，而是對存在唯一合理的密碼分析所需要的密文數量的指標。
shannon定義：使得對應明文的實際資訊（熵）與加密金鑰的熵之和等於所用的密文位數的漸近密文量。
對大多數對稱密碼系統而言，u=
h（k）
/du =h
（k）/
d，h（k）為密碼系統的熵，d為語言的冗餘度。
有些密碼學書籍也將唯一解距離認為是包括正確的明文在內的有意義的明文數目，即乙個密碼系統的唯一解距離是指乙份有意義的相應明文的密文長度。
此外，還有這樣的描述：唯一解距離是指，當進行強力攻擊時，可能解密出唯一有意義的明文所需要的最少密文量。
唯一解距離與冗餘度區別：唯一解距離與冗餘度成反比。唯一解距離越長，密碼系統就越好。當冗餘度接近為零時，即使乙個普通的密碼系統也是可能不可破的。唯一解距離可以保證當其太小時，密碼系統是不安全的，但並不保證當其較大時，密碼系統就是安全的。
對於唯一解距離計算中的一些問題，以下的一篇文章對唯一解距離的真正所指進行了**，指出這裡的唯一應該排除那個唯一正確的明文，對於真實的密文無論其長度是多少都至少會有乙個有意義的明文。
文章：美國數學家夏農唯一解距離理論** 《資訊網路安全》2023年第08期
**：期刊訂閱方式：中國知網官網-數字出版物訂閱-期刊（資訊科技）-網際網路技術
密碼學數學背景（一） 資訊理論
資訊理論中，定義 一條資訊的資訊量 amount of information 如下 假設所有的資訊是等可能的，對資訊中所有可能的值進行編碼所需要的 最少位數。例如，資料庫中有關 一周中的每一天 這一字段不超過3位的資訊，因此資訊可以用3 位進行編碼 000 星期一 001 星期二 010 星期三 ...
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...
資訊理論 學習筆記
克勞德 夏農 claude shannon 美國數學家 電子工程師和密碼學家，被譽為資訊理論的創始人。資訊理論是在資訊可以量度的基礎上，研究有效和可靠的傳遞資訊的科學，它涉及資訊量度 資訊特性 資訊傳輸速率 通道容量 干擾對資訊傳輸的影響等方面的知識。資訊量是對資訊的度量。多少資訊用資訊量來衡量，我...