華電北風吹
日期：2016-05-07
高斯混合模型是乙個無監督學習的密度估計演算法，主要用思路是利用em演算法對混合高斯分布進行極大似然估計。
模型缺點：高斯核個數實現難以確定，em演算法的初始值敏感，區域性最優等。
一、高斯混合分布
對於有k
個高斯分布混合而成的混合高斯分布的概率密度函式有 p(
x)=∑
zp(x
|z)p
(z)(1)
對於隨機變數
z 有z~
mult
inom
ial(
ϕ), 表示來自於不同的高斯分布的概率分別為ϕj
,j=1
,2,.
..,k
，即p(
z=j)
=ϕj ，其中ϕj
≥0,∑
kj=1
ϕj=1
。對於每個高斯分布有x|
z ~n(
μj,σ
j)。稱滿足以上分布的隨機變數
x 服從高斯混合分布。
二、高斯混合模型介紹
在這一部分我們都先來看與混合高斯分布有關的兩個問題。
1、若給出混合高斯分布的引數ϕ,
μ,σ，求取樣樣本為x=
的概率。
2、、只給出混合高斯分布的取樣樣本x=
，求混合高斯分布的引數ϕ,
μ,σ 。
這兩個問題互為逆問題，第乙個問題，由模型算樣本概率第二個問題，由取樣樣本推算模型。第乙個問題，乙個全概率公式就可以搞定。第二個問題，就是本文要討論的主要內容。
三、高斯混合模型
對於取樣於高斯混合分布的
m 個隨機取樣樣本x=
，混合高斯模型的目標是利用em演算法求解混合高斯分布的模型引數ϕ,
μ,σ 。
對於取樣樣本的對數似然函式為 l(
ϕ,μ,
σ)=∑
mi=1
logp(x
(i);
ϕ,μ,
σ)(3-1)
由於每個樣本x(
i)可能來自於任意乙個高斯核，在這裡用乙個隱變數z(
i)表示樣本i來自於高斯核z(
i)。這樣利用全概率公式公式(3-1)就可進一步寫為 l(
ϕ,μ,
σ)=∑
mi=1
logp(x
(i);
ϕ,μ,
σ)=∑
mi=1
log∑kz
(i)=
1p(x
(i)|
z(i)
;μ,σ
)p(z
(i);
ϕ)(3-2)
利用極大似然估計的方法直接對公式(3-2)求解的話，會發現似然函式求偏導的時候對數函式裡面包含關於引數ϕ,
μ,σ 的求和項，這使得極大似然求解特別麻煩。
而em演算法通過把似然函式轉化為似然函式的乙個如下形式的下確界，(具體細節，看參考部落格) j(
q,θ)
=∑mi
=1∑k
z(i)
=1qi
(z(i
))logp(x
(i)|
z(i)
;μ,σ
)p(z
(i);
ϕ)qi
(z(i
))(3-3)
在這個下確界形式中，對數函式裡面不包含求和項，而使得極大似然估計變得容易。然後依次提高下確界形式的似然性達到求解原問題的目的。
em迭代演算法求解公式(3-2)的過程如下，
———————————————————————————- al
gori
thm
gmm(
em)
給定初值ϕ0
,μ0,
σ0 r
epea
t un
til
conv
erge
nce
e−st
ep: for each i,j set w(
i)j:=
p(z(
i)=j
|x(i
);ϕ,
μ,σ)
m−step:
update the parameters ϕj
:=1m∑
mi=1
w(i)
j μj
:=∑mi
=1w(
i)jx
(i)∑
mi=1
w(i)
j σj
:=∑mi
=1w(
i)j(
x(i)
−μj)
(x(i
)−μj
)t∑m
i=1w
(i)j
———————————————————————————- 在a
lgor
ithm
gmm中，e−
step
不用多說，看不懂的先去看em演算法框架，求解方式如下 w(
i)j=
qi(z
(i)=
j)=p
(z(i
)=j|
x(i)
;ϕ,μ
,σ)=
p(x(
i)|z
(i)=
j;μ,
σ)p(
z(i)
=j;ϕ
)∑kl
=1p(
x(i)
|z(i
)=l;
μ,σ)
p(z(
i)=l
;ϕ)(3-4)
若知道了隱變數引數z(
i)的分布，利用em演算法就可以對公式(3-3)求極大似然估計 θ=
argmaxθj
(q,θ
)=ar
gmaxθ∑
mi=1
∑kz(
i)=1
qi(z
(i))
logp(x
(i)|
z(i)
;μ,σ
)p(z
(i);
ϕ)qi
(z(i
))(3-5)
通過極大似然估計求解更新模型引數進行提公升。在al
gori
thm
gmm(
em) 中，m−
step
就是據此利用極大似然估計對模型引數ϕ,
μ,σ 進行更新。
四、m-step推導
這一部分主要推導一下怎麼用公式(3-5)求導得到m-step更新公式.
算了，不寫了，打字麻煩，作為給看部落格的你的課下作業了。
參考部落格：
1、em演算法框架
高斯混合模型
本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題，詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時，它的概率密度函式pdf為 x是維度為d的列向量，u是模型期望，是模型方差。在實際應用...
高斯混合模型
高斯混合模型 本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題，詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時，它的概率密度函式pdf為 x是維度為d的列向量，u是模型期望，是模型方...
高斯混合模型
本文就高斯混合模型 gmm,gaussian mixture model 引數如何確立這個問題，詳細講解期望最大化 em,expectation maximization 演算法的實施過程。多維變數x服從高斯分布時，它的概率密度函式pdf為 x是維度為d的列向量，u是模型期望，是模型方差。在實際應用...