kl散度的兩種形式如下：
對於q被高估或者低估的原因為：
首先看上式kl(p||q)的表示式，目標是希望kl(p||q)的值盡可能的小，但是在p(x)的值很大的情況下，為了保證kl(p||q)的值盡可能小，所以q(x)的值需要接近p(x),這樣才能保證整個log(p(x)/q(x))整體變小。直觀上來說，就是在p(x)的概率密度大的地方，它應該盡量與q(x)的概率密度保持一致，而在p(x)概率密度小的地方，p(x)和q(x)的差別對kl值的影響就很小了。所以會出現q(x)被高估的情況，kl(q||p)同理。
所以在變分推導的過程中，往往使用kl(q||p)的值作為推導的目標函式，實際中會出現鎖定在區域性極值點的情況。
KL散度 JS散度
kl divergence kullback leibler divergence kl散度，kl距離，又叫相對熵 relative entropy 衡量兩個概率分布之間的不同程度，是描述兩個概率分布p和q差異的一種方法就是資訊理論學的相對熵 最簡單的情況 當kl divergence為0時，兩個分...
KL散度與JS散度
js散度 jensen shannon divergence 又稱kl距離，相對熵。kl散度是描述兩個概率分布p和q之間差異的一種方法。直觀地說，可以用來衡量給定任意分布偏離真實分布的程度，如果兩個分布完全匹配，那麼kl p q 0,否則它的取值應該是0 inf 之間。kl散度越小，真實分布與近視分...
KL散度 JS散度 Wasserstein距離
kl散度又稱為相對熵，資訊散度，資訊增益。kl散度是兩個概率分布p和q 差別的非對稱性的度量。kl散度是用來 度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元數。典型情況下，p表示資料的真實分布，q表示資料的理論分布，模型分布，或p的近似分布。定義如下 因為對數函式是凸函式，所以kl散度的...