l(p|
q)用於度量同一概率空間兩個概率分布p
,q之間的距離,在實際應用中p
往往代表的是資料真實的分布,而q
一般是對p
的逼近. 若
μ 是x
上的任意度量,若radon-nikodym 導數存在,即p=
dpdμ
,q=dqdμ
, d
kl(p
|q)=
∫xplogpq
dμ
若p,q
是x
上的概率測度, d
kl(p
|q)=
∫xlogdpd
qdp
若p,q
是連續隨機變數的概率分布, d
kl(p
|q)=
∫xlogp(x
)q(x
)p(x
)dx
例如正態分佈: p∼
q)的性質:
1.非對稱 dk
l(p|
q)≠d
kl(q
|p)
2.非負 dk
l(p|
q)≥0
,當且僅當p=
q 時等號成立
pf:假設p,
q 是連續隨機變數的概率分布, d
kl(p
|q)=
∫xlogp(x
)q(x
)dp
−dkl(p|
q)=∫
xlogq(
x)p(
x)dp
≤log∫x
q(x)
p(x)
dp=0
關於相對熵（KL距離）的理解
定義 兩個概率質量函式為p x 和q x 之間的相對熵或kl距離定義為 d p q x p x logp x q x 如果已知隨機變數的真實分布為 p 可以構造平均描述長度為h p 的碼，但是，如果使用針對分布 q 的編碼，那麼平均意義上就需要 x p x log1q x 記作h p q 位元來描述...
html 設定兩個標籤的相對距離 HTML基礎知識
1.網際網路的三大基石 2.html入門 1 為什麼要學習html？2 什麼是html 3.html css js之間的關係 html是基礎，是框架，可以完成基本的功能，相當於人的骨骼，但是不夠美觀。css是血肉，豐富了html框架，使得介面更加的美觀，增加了靜態的展現。相當於給人增加了血肉。htm...
android相對布局 相對對齊
relativelayout 相對布局 android layout above 將該控制項的底部至於給定id的控制項之上 android layout below 將該控制項的頂部至於給定id的控制項之下 android layout toleftof 將該控制項的右邊緣和給定id的控制項的左邊緣...