kl距離，是kullback-leibler差異（kullback-leibler divergence）的簡稱，也叫做相對熵（relative entropy）。它衡量的是相同事件空間裡的兩個概率分布的差異情況。
kl距離全稱為kullback-leibler divergence，也被稱為相對熵。公式為：
感性的理解，kl距離可以解釋為在相同的事件空間p(x)中兩個概率p(x)和q(x)分布的差異情況。
從其物理意義上分析：可解釋為在相同事件空間裡，概率分布p(x)的事件空間，若用概率分布q（x）編碼時，平均每個基本事件（符號）編碼長度增加了多少位元。
如上面展開公式所示，前面一項是在p(x)概率分布下的熵的負數，而熵是用來表示在此概率分布下，平均每個事件需要多少位元編碼。這樣就不難理解上述物理意義的編碼的概念了。
但是kl距離並不是傳統意義上的距離。傳統意義上的距離需要滿足三個條件：1）非負性；2）對稱性（不滿足）；3）三角不等式（不滿足）。但是kl距離三個都不滿足。反例可以看參考資料中的例子。
衡量兩個概率分布之間的差異性的指標
總結一下衡量兩個概率分布之間的差異性的指標，這裡只是簡單涉及到了kl散度 js散度 交叉熵和wasserstein距離 kl散度又稱為相對熵，資訊散度，資訊增益。定義 kl散度是是兩個概率分布 和 之間差別的非對稱性的度量，kl散度是用來度量使用基於 的編碼來編碼來自 的樣本平均所需的額外的位元數。...
衡量兩個概率分布之間的差異性的指標
總結一下衡量兩個概率分布之間的差異性的指標，這裡只是簡單涉及到了kl散度 js散度 交叉熵和wasserstein距離 kl散度又稱為相對熵，資訊散度，資訊增益。定義 kl散度是是兩個概率分布 p和 q之間差別的非對稱性的度量，kl散度是用來度量使用基於 q 的編碼來編碼來自 p 的樣本平均所需的額...
python比較兩個檔案的差異
轉 使用python指令碼比較兩個檔案的差異內容並輸出到html文件中，可以通過瀏覽器開啟檢視。一 指令碼使用 對比nginx配置檔案的差異 python python diff file.py f1 web26.conf f2 web103.conf 二 指令碼內容 usr bin python ...