根據查閱相關資料，知相對熵（relative entropy）又稱為kl散度（kullback–leibler divergence，簡稱kld），資訊散度（information divergence），資訊增益（information gain）。
kl散度是兩個概率分布p和q差別的非對稱性的度量。
對乙個離散隨機變數的兩個概率分布p和q來說，他們的kl散度定義為：
對於連續的隨機變數，定義為：
注： （1）p(x) 和q(x)分別是pq兩個隨機變數的pdf,dkl(p||q)是乙個數值，而不是乙個函式
（2）kl散度並不滿足距離的概念，應為：1）kl散度不是對稱的；2）kl散度不滿足三角不等式。
（3）p通常指資料集，我們已有的資料集，q表示理論結果
（1）儘管kl散度從直觀上是個度量或距離函式，但它並不是乙個真正的度量或者距離，因為它不具有對稱性
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...
相對熵（KL散度）
今天開始來講相對熵，我們知道資訊熵反應了乙個系統的有序化程度，乙個系統越是有序，那麼它的資訊熵就越低，反 之就越高。下面是熵的定義 如果乙個隨機變數 量 有了資訊熵的定義，接下來開始學習相對熵。contents 1.相對熵的認識 2.相對熵的性質 3.相對熵的應用 1.相對熵的認識 相對熵又稱互熵，...