給定觀測樣本集\(\)，求帶有隱變數模型的最大似然。
似然函式
$$l(\theta)=logp(y|\theta)=log\sum_zp(y,z|\theta))=log(p(y|z,\theta)p(z|\theta))$$
將似然函式減去上一步的似然函式
$$ \begin l(\theta)-l(\theta^)=& log(p(y|z,\theta)p(z|\theta))-logp(y|\theta^) \\ =& log(\sum_z p(z|y,\theta^)\frac)})-logp(y|\theta^)\end $$
log(x)是凹函式，則由jensen不等式
$$\beginl(\theta)-l(\theta^)\geq& \sum_p(z|y,\theta^)log\frac)}-logp(y|\theta^)\\=& \sum_p(z|y,\theta^)log\frac)p(y|\theta^)}\end$$
令$$b(\theta,\theta^=l(\theta^)+\sum_p(z|y,\theta^)log\frac)p(y|\theta^)})$$
則有$$l(\theta)\geq b(\theta,\theta^)$$
而且$$l(\theta^)= b(\theta^,\theta^)$$
所以我們求能使\(l(\theta)\)的下界\(b(\theta,\theta^)\)最大的\(\theta\)能夠增大\(l(\theta)\)，因此
$$\begin\theta^=&\arg\max_b(\theta,\theta^\\ =& \arg\max_(l(\theta^)+\sum_p(z|y,\theta^)log\frac)p(y|\theta^)})\\ =& \arg\max_ \sum_p(z|y,\theta^)logp(y,z|\theta)\\ =& q(\theta,\theta^)\end$$
EM演算法詳細推導
em演算法推導 em演算法舉例 em演算法收斂性證明 一點小思考 參考文獻 概率模型有時既含有觀測變數，又含有隱變數或潛在變數。如果概率模型的變數都是觀測變數，那麼給定觀測資料，直接根據極大似然估計求解模型引數。em演算法是一種迭代演算法，用於含有隱變數的概率模型引數的極大似然估計或者極大後驗概率估...
機器學習 EM演算法推導
有時，我們用極大似然的時候，公式中可能會有隱變數 l i 1m p yi i 1 m z p yi z i 1m zp z p y i z 也就是 y 取什麼值是由隱含的變數 z 決定的。舉個栗子 有三個硬幣，abc，先拋a，由a的正反面決定下一步拋 b 還是拋 c a是正面拋b，a是反面拋c。第二...
em演算法詳細例子及推導 EM演算法推導的兩個注意點
em演算法非常經典，公式推導也十分完美。然而含金量這麼高的公式，常常由於知識密度太大導致無法消化。我在看部落格推導em演算法的過程中，為了解決前後邏輯跨度大的問題，分析到了兩個注意點，能夠使得公式推導更加合理。一 在公式推導假設 機器學習 em演算法詳細推導和講解 bigmoyan 成立的過程中我們...