定義：兩個概率質量函式為p(
x)和q(x
) 之間的相對熵或kl距離定義為 d
(p||
q)=∑
x∈χp
(x)logp(
x)q(
x)如果已知隨機變數的真實分布為
p ，可以構造平均描述長度為h(
p)的碼，但是，如果使用針對分布
q 的編碼，那麼平均意義上就需要∑x
∈χp(
x)log1q(
x)（記作h(
p||q
) ）位元來描述這個隨機變數。那麼可以這樣定義d(
p||h
) d
(p||
q)=h
(p||
q)−h
(p)=
∑x∈χ
p(x)
log1q(
x)−∑
p(x)
log1p(
x)=∑
x∈χp
(x)logp(
x)q(
x)
總結就是，使用由
q 構造的編碼將會在平均意義上比最優編碼（由真實分布
p 構造的編碼）長d(
p||q
) 位元。
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...