相對熵（KL散度）

今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反

之就越高。下面是熵的定義

如果乙個隨機變數

量

有了資訊熵的定義，接下來開始學習相對熵。

contents

1. 相對熵的認識

2. 相對熵的性質

3. 相對熵的應用

1. 相對熵的認識

相對熵又稱互熵，交叉熵，鑑別資訊，kullback熵，kullback-leible散度（即kl散度）等。設

是個概率概率分布，則

在一定程度上，熵可以度量兩個隨機變數的距離。kl散度是兩個概率分布p和q差別的非對稱性的度量。kl散度是 用來

度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元數。 典型情況下，p表示資料的真實分布，q

表示資料

的理論分布，模型分布，或p的近似分布。

2. 相對熵的性質

相對熵（kl散度）有兩個主要的性質。如下

（1）儘管kl散度從直觀上是個度量或距離函式，但它並不是乙個真正的度量或者距離，因為它不具有對稱性，即

（2）相對熵的值為非負值，即

在證明之前，需要認識乙個重要的不等式，叫做吉布斯不等式。內容如下

3. 相對熵的應用

相對熵可以衡量兩個隨機分布之間的距離，當兩個隨機分布相同時，它們的相對熵為零，當兩個隨機分布的差別增 大

時，它們的相對熵也會增大。所以相對熵（kl散度）可以用於比較文字的相似度，先統計出詞的頻率，然後計算

kl散度就行了。另外，在多指標系統評估中，指標權重分配是乙個重點和難點，通過相對熵可以處理。

在julia中，有乙個kldivergence包，用來計算兩個分布之間的k-l距離，它需要依賴distributions包，用 法

詳見：

相對熵（KL散度）

今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...

相對熵（KL散度）

今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...

KL 散度 相對熵

相對熵 relative entropy 又稱為kl散度 kullback leibler divergence，簡稱kld 資訊散度 information divergence 資訊增益 information gain kl散度是兩個概率分布p和q差別的非對稱性的度量。kl散度是用來度量使用基...