em演算法
（1）em演算法是一種迭代演算法，用於含有隱變數的概率模型引數的極大似然估計，或極大後驗概率估計。
（2）em演算法的每次迭代由兩步組成：e步，求期望；m步，求極大。所以這一演算法稱為期望極大演算法，簡稱em演算法。
（3）觀測資料的極大似然估計沒有解析解，只有通過迭代的方法求解，使用em演算法可以求解。
（4）em演算法與初值的選擇有關，選擇不同的初值可能得到不同的引數估計值。
（5）用
y 表示觀測隨機變數的資料，用
z表示隱隨機變數的資料。
y 和
z連在一起稱為完全資料，觀測資料
y 又稱為不完全資料。
（6）em演算法通過迭代求觀測資料的對數似然函式的極大似然估計。
（7）em演算法的收斂是迭代過後引數的值不再變化，或者變化在乙個閥值以內。
（8）em演算法是通過不斷求解下界的極大化逼近求解對數似然函式極大化的演算法。
（9）關於em演算法收斂的兩個定理：①觀測資料的似然函式是遞增的；②觀測資料的對數似然函式只會收斂到函式的穩定值。
（10）定理只能保證引數估計序列收斂到對數似然函式序列的穩定點，不能保證收斂到極大值點。因此，初值的選擇非常重要，常用的辦法是選取幾個不同的初值進行迭代，然後對得到的各個估計值加以比較，從中選擇最好的。
em演算法在高斯混合模型學習中的應用（1）高斯混合模型、高斯分布密度
（2）用em演算法估計高斯混合模型的引數，步驟為：①明確隱變數，寫出完全資料的對數似然函式；②em演算法的e步：確定q函式；③確定em演算法的m步。
（3）高斯混合模型引數估計的em演算法
①取引數的初始值開始迭代；
②e步：依據當前模型引數，計算分模型k對觀測資料yj的響應度；
③m步：計算新一輪迭代的模型引數；
④重複第②步和第③步，知道收斂。
重點內容
（1）em演算法還可以解釋為f函式的極大-極大演算法，基於這個解釋有若干變形和推廣，例如廣義期望極大演算法（gem演算法）
（2）em演算法的一次迭代可有f函式的極大-極大演算法實現。
（3）gem演算法有三種實現方式。
《統計學習方法》筆記 EM演算法
em expectation maximization algorithm 用於含有隱變數的概率模型引數的極大似然估計。例子 有三枚a，b，c硬幣。首先a為選擇硬幣，對其進行投擲，其投擲結果正則選擇b硬幣進行投擲，反為選擇c硬幣，然後根據選擇的硬幣再進行投擲，記錄該硬幣的投擲結果，正面為1，反面為0...
統計學習方法九 EM演算法
一 em演算法是什麼？em演算法是一種迭代演算法，用於含有隱變數的概率模型引數的極大似然估計。作用 簡單直白的說，估計引數 是一種生成模型 1 用在概率模型中 2 含有隱變數 3 用極大似然估計方法估計引數 個人理解，概率模型中的一些引數，通常是一些概率 1 如果概率模型中的變數全部可觀測，那可以統...
《統計學習方法》筆記（十三） EM
em本身是一種迭代演算法，目的是實現含有隱變數的模型引數的極大似然估計，以及後驗分布的眾數。em也可以用來補全缺失的資料集。在此不做重點考慮 演算法描述 輸入 觀測變數資料y，隱含變數z，聯合分布p y,z theta 條件分布p z y,theta 輸出 模型引數theta 1.選擇引數的初值th...