在看**《detecting regions of maximal divergence for spatio-temporal anomaly detection》時，文中提到了這三種方法來比較時間序列中不同區域概率分布的差異。
三者都是用來衡量兩個概率分布之間的差異性的指標。不同之處在於它們的數學表達。
對於概率分布p(x)和q(x)
又稱kl距離，相對熵。
當p(x)和q(x)的相似度越高，kl散度越小。
kl散度主要有兩個性質：
（1）不對稱性
儘管kl散度從直觀上是個度量或距離函式，但它並不是乙個真正的度量或者距離，因為它不具有對稱性，即d(p||q)!=d(q||p)。
（2）非負性
相對熵的值是非負值，即d(p||q)>0。
js散度也稱js距離，是kl散度的一種變形。
但是不同於kl主要又兩方面：
（1）值域範圍
js散度的值域範圍是[0,1]，相同則是0，相反為1。相較於kl，對相似度的判別更確切了。
（2）對稱性
即 js(p||q)=js(q||p)，從數學表示式中就可以看出。
在神經網路中，交叉熵可以作為損失函式，因為它可以衡量p和q的相似性。
交叉熵和相對熵的關係：
以上都是基於離散分布的概率，如果是連續的資料，則需要對資料進行probability density estimate來確定資料的概率分布，就不是求和而是通過求積分的形式進行計算了。
交叉熵 K L散度
資訊理論主要研究如何量化資料中的資訊。最重要的資訊度量單位是熵entropy，一般用h hh表示。分布的熵的公式如下 h i 1 np x i log p xi h sum p left x right cdot log p left x right h i 1 n p xi logp x i ex...
GAN學習筆記 KL散度 交叉熵 JS散度
首先，我們知道，熵 是用來量化資料中含有的資訊量的，其計算公式為 h i 1 np x i log p xi h sum p x cdot log p x h i 1 n p xi logp x i 1 kl散度 kullback leibler divergence 又稱kl距離，相對熵，用來比較...
交叉熵與KL散度
welcome to my blog 老遇到交叉熵作為損失函式的情況,於是總結一下 交叉熵從kl散度 相對熵 中引出,kl散度 kullback leibler divergence 公式為 kl散度是衡量兩個分布之間的差異大小的,kl散度大於等於0,並且越接近0說明p與q這兩個分布越像,當且僅當p...