在看**《detecting regions of maximal divergence for spatio-temporal anomaly detection》時,文中提到了這三種方法來比較時間序列中不同區域概率分布的差異。
三者都是用來衡量兩個概率分布之間的差異性的指標。不同之處在於它們的數學表達。
對於概率分布p(x)和q(x)
又稱kl距離,相對熵。
當p(x)和q(x)的相似度越高,kl散度越小。
kl散度主要有兩個性質:
(1)不對稱性
儘管kl散度從直觀上是個度量或距離函式,但它並不是乙個真正的度量或者距離,因為它不具有對稱性,即d(p||q)!=d(q||p)。
(2)非負性
相對熵的值是非負值,即d(p||q)>0。
js散度也稱js距離,是kl散度的一種變形。
但是不同於kl主要又兩方面:
(1)值域範圍
js散度的值域範圍是[0,1],相同則是0,相反為1。相較於kl,對相似度的判別更確切了。
(2)對稱性
即 js(p||q)=js(q||p),從數學表示式中就可以看出。
在神經網路中,交叉熵可以作為損失函式,因為它可以衡量p和q的相似性。
交叉熵和相對熵的關係:
以上都是基於離散分布的概率,如果是連續的資料,則需要對資料進行probability density estimate來確定資料的概率分布,就不是求和而是通過求積分的形式進行計算了。
交叉熵 K L散度
資訊理論主要研究如何量化資料中的資訊。最重要的資訊度量單位是熵entropy,一般用h hh表示。分布的熵的公式如下 h i 1 np x i log p xi h sum p left x right cdot log p left x right h i 1 n p xi logp x i ex...
GAN學習筆記 KL散度 交叉熵 JS散度
首先,我們知道,熵 是用來量化資料中含有的資訊量的,其計算公式為 h i 1 np x i log p xi h sum p x cdot log p x h i 1 n p xi logp x i 1 kl散度 kullback leibler divergence 又稱kl距離,相對熵,用來比較...
交叉熵與KL散度
welcome to my blog 老遇到交叉熵作為損失函式的情況,於是總結一下 交叉熵從kl散度 相對熵 中引出,kl散度 kullback leibler divergence 公式為 kl散度是衡量兩個分布之間的差異大小的,kl散度大於等於0,並且越接近0說明p與q這兩個分布越像,當且僅當p...