em演算法非常經典，公式推導也十分完美。然而含金量這麼高的公式，常常由於知識密度太大導致無法消化。我在看部落格推導em演算法的過程中，為了解決前後邏輯跨度大的問題，分析到了兩個注意點，能夠使得公式推導更加合理。
一：在公式推導假設（【機器學習】em演算法詳細推導和講解 - bigmoyan - ）
成立的過程中我們得到了緊下界。此處的注意要點是：
當得到了緊下界之後，等於c這個要求就丟棄了。原因如下圖：（深入理解em推導過程 - xietingcandice的專欄 - csdn部落格）
要求等於c時，是為了紫色曲線和紅色曲線有交點，也就是為了「緊」。當得到紫色曲線後，我們要在紫色曲線上做優化，就不能一直賴在交點上了。否則會出現log（p（x,z|θ）/q）一直等於logc的情況，這樣把log都約掉了也就推不出標準公式了。
二：有些部落格說用e步驟求z的均值，就能消除掉乙個引數。其實這個引數不是求均值消除掉的。如下圖：（em演算法推導 - u010899985的部落格 - csdn部落格）
qi（zi）為常數，z如果是變數的話，還是會在q裡面變的。所以z的消除是因為e步在求q的時候，固定θ求了z的概率分布，求完了後q才是個常數。
EM演算法詳細推導
em演算法推導 em演算法舉例 em演算法收斂性證明 一點小思考 參考文獻 概率模型有時既含有觀測變數，又含有隱變數或潛在變數。如果概率模型的變數都是觀測變數，那麼給定觀測資料，直接根據極大似然估計求解模型引數。em演算法是一種迭代演算法，用於含有隱變數的概率模型引數的極大似然估計或者極大後驗概率估...
em演算法詳細例子及推導 統計學習方法 EM演算法
em演算法是一種演算法，不是模型，該演算法用於解決含有隱變數的的概率模型的引數估計問題，利用極大似然估計的思想求優。從而em演算法的目標是 其中，x是觀測資料 observed data 是引數，包含的隱變數z latent variable x,z 稱為完整資料 complete data 但有時...
EM演算法推導
給定觀測樣本集 求帶有隱變數模型的最大似然。似然函式 l theta logp y theta log sum zp y,z theta log p y z,theta p z theta 將似然函式減去上一步的似然函式 begin l theta l theta log p y z,theta p...