表示分布之間的」差異「，不是」距離「。
不滿足距離定義的對稱性，不滿足三角不等式。相對熵公式： dklk l(
a,b)
!=kl
(b,a
)kl(a, b) != kl(b, a)
kl(a,b
)!=k
l(b,
a)
(p(x
)∣∣q
(x))
=∑p(
x)lo
gp(x
)q(x
)d_(p(x)||q(x)) = \sum p(x) log \frac
dkl(p
(x)∣
∣q(x
))=∑
p(x)
logq
(x)p
(x)
典型情況下，p
pp表示資料的真實分布，q
qq表示資料的理論分布，模型分布，或p
pp的近似分布。
js 散度度量了兩個概率分布的相似度，基於kl散度的變體，解決了kl散度非對稱的問題。一般地，js散度是對稱的，其取值是0到1之間。定義如下：
d js
(p1∣
∣p2)
=12(
dkl(
p1∣∣
p1+p
22)+
dkl(
p2∣∣
p1+p
22))
d_(p_1||p_2) = \frac(d_(p_1||\frac) + d_(p_2||\frac))
djs(p
1∣∣
p2)
=21
(dkl
(p1
∣∣2
p1+
p2
)+dk
l(p
2∣∣
2p1
+p2
))產銷平衡問題
lcss：最長遞增子串行
如果是錯位的相似，有一定的時間滯後，也可進行相似度的計算。
這是乙個新的演算法，動態時間規整。
採用動態規劃的思想，計算兩個序列的最短距離，並可記錄路徑。
KL散度 JS散度
kl divergence kullback leibler divergence kl散度，kl距離，又叫相對熵 relative entropy 衡量兩個概率分布之間的不同程度，是描述兩個概率分布p和q差異的一種方法就是資訊理論學的相對熵 最簡單的情況 當kl divergence為0時，兩個分...
KL散度與JS散度
js散度 jensen shannon divergence 又稱kl距離，相對熵。kl散度是描述兩個概率分布p和q之間差異的一種方法。直觀地說，可以用來衡量給定任意分布偏離真實分布的程度，如果兩個分布完全匹配，那麼kl p q 0,否則它的取值應該是0 inf 之間。kl散度越小，真實分布與近視分...
相似度演算法之余弦相似度
余弦距離，也稱為余弦相似度，是用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小的度量。余弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫 余弦相似性 上圖兩個向量a,b的夾角很小可以說a向量和b向量有很高的的相似性，極端情況下，a和b向量完全重合。如下圖 如上圖二 可以認...