KL散度 JS散度以及交叉熵對比

2021-08-20 13:32:50 字數 1016 閱讀 9206

在看**《detecting regions of maximal divergence for spatio-temporal anomaly detection》時,文中提到了這三種方法來比較時間序列中不同區域概率分布的差異。

三者都是用來衡量兩個概率分布之間的差異性的指標。不同之處在於它們的數學表達。

對於概率分布p(x)和q(x)

又稱kl距離,相對熵。

當p(x)和q(x)的相似度越高,kl散度越小。

kl散度主要有兩個性質:

(1)不對稱性

儘管kl散度從直觀上是個度量或距離函式,但它並不是乙個真正的度量或者距離,因為它不具有對稱性,即d(p||q)!=d(q||p)。

(2)非負性

相對熵的值是非負值,即d(p||q)>0。

js散度也稱js距離,是kl散度的一種變形。

但是不同於kl主要又兩方面:

(1)值域範圍

js散度的值域範圍是[0,1],相同則是0,相反為1。相較於kl,對相似度的判別更確切了。

(2)對稱性

即 js(p||q)=js(q||p),從數學表示式中就可以看出。

在神經網路中,交叉熵可以作為損失函式,因為它可以衡量p和q的相似性。

交叉熵和相對熵的關係:

以上都是基於離散分布的概率,如果是連續的資料,則需要對資料進行probability density estimate來確定資料的概率分布,就不是求和而是通過求積分的形式進行計算了。

交叉熵 K L散度

資訊理論主要研究如何量化資料中的資訊。最重要的資訊度量單位是熵entropy,一般用h hh表示。分布的熵的公式如下 h i 1 np x i log p xi h sum p left x right cdot log p left x right h i 1 n p xi logp x i ex...

GAN學習筆記 KL散度 交叉熵 JS散度

首先,我們知道,熵 是用來量化資料中含有的資訊量的,其計算公式為 h i 1 np x i log p xi h sum p x cdot log p x h i 1 n p xi logp x i 1 kl散度 kullback leibler divergence 又稱kl距離,相對熵,用來比較...

交叉熵與KL散度

welcome to my blog 老遇到交叉熵作為損失函式的情況,於是總結一下 交叉熵從kl散度 相對熵 中引出,kl散度 kullback leibler divergence 公式為 kl散度是衡量兩個分布之間的差異大小的,kl散度大於等於0,並且越接近0說明p與q這兩個分布越像,當且僅當p...