\[d(p \| q)=\sum_} p(x) \log \frac
\]注意是對放在前面的\(p(x)\)取期望
聯合分布與邊緣分布的相對熵
\[\begin
i(x ; y) &=d(p(x, y) \| p(x) p(y)) \\
&=\sum_, y \in y} p(x, y) \log \frac
\end
\]資訊密度比互資訊能提供更加全面的\(x\)和\(y\)關係的刻畫
\[i(x ; y)=\log \frac=\log \frac
\]\[\begin
i(x ; y) &=h(x)-h(x \mid y) \\
&=h(y)-h(y \mid x) \\
&=h(x)+h(y)-h(x, y)
\end
\]\[\begin
i(x ; y \mid z) &=h(x \mid z)-h(x \mid y, z)=h(y \mid z)-h(y \mid x, z) \\
&=e_ \log \frac
\end
\]只要不是小寫，取期望的時候都是\(p(x,y,z)\)的聯合概率
條件熵會減小，但是條件互資訊沒有這個性質
\[i\left(x_, x_, \ldots, x_ ; y\right)=\sum_^ i\left(x_ ; y \mid x_, x_, \ldots, x_\right)
\]
2017中科大資訊保安課程總結一
攻擊能夠實現的原因 實現和實現ssl tls協議出現了漏洞，導致攻擊者可以攻擊一些舊版本的ssl tls協議。當ssl tls加密協議漏洞爆出來之後，最新版本的ssl tls協議修復了已知漏洞，但舊版本的加密協議卻變得不安全了。https降級協議 首先我們知道，ssl tls協議通過握手來確定通訊資...
課程筆記 中科大計算經濟學（三）
假設有三個秘書輪流面試，需要當場決策，如何找到最合適的秘書？如果隨機三選一，選到最好秘書的概率是1 3 如果按照最優策略，選到最好秘書的概率是1 2 按照條件概率進行計算 frac times 0 frac times 1 frac times left frac times 0 frac time...
資訊理論筆記
i p log b p 當b 2,熵的單位是bit b e,熵的單位是nat b 10,熵的單位是hart p 1,i p 0 p 0,i p p 1 2,i p 1 h x ex i x e x l ogb x 個人理解 x可以是連續或者離散,反正就是積分h p,q ep log q h p dk...