在概率統計中，f散度是乙個函式，這個函式用來衡量兩個概率密度p和q的區別，也就是衡量這兩個分布多麼的相同或者不同。
1.f散度的定義
p和q是同乙個空間中的兩個概率密度函式，它們之間的f散度可以用如下方程表示：
f函式滿足兩個條件：f函式是乙個凸函式，並且f(1)=0。
2.f散度的特例
如果f(x)=xlogx，那就是kl散度。如果是f(x)=-logx，那就表示reverse kl散度。
3.f散度的非負性
因為f是凸函式，e(f(x))>=f(e(x))，所以
這就是為什麼需要上面提到的滿足的兩個條件。
參考：---------------------
原文：
KL散度 JS散度
kl divergence kullback leibler divergence kl散度，kl距離，又叫相對熵 relative entropy 衡量兩個概率分布之間的不同程度，是描述兩個概率分布p和q差異的一種方法就是資訊理論學的相對熵 最簡單的情況 當kl divergence為0時，兩個分...
KL散度與JS散度
js散度 jensen shannon divergence 又稱kl距離，相對熵。kl散度是描述兩個概率分布p和q之間差異的一種方法。直觀地說，可以用來衡量給定任意分布偏離真實分布的程度，如果兩個分布完全匹配，那麼kl p q 0,否則它的取值應該是0 inf 之間。kl散度越小，真實分布與近視分...
KL散度 JS散度 Wasserstein距離
kl散度又稱為相對熵，資訊散度，資訊增益。kl散度是兩個概率分布p和q 差別的非對稱性的度量。kl散度是用來 度量使用基於q的編碼來編碼來自p的樣本平均所需的額外的位元數。典型情況下，p表示資料的真實分布，q表示資料的理論分布，模型分布，或p的近似分布。定義如下 因為對數函式是凸函式，所以kl散度的...