4. 高斯混合模型
高斯混合模型（gmm，gaussian mixture model）可以看成是em演算法的一種現實應用。利用這個模型可以解決聚類分析、機器視覺等領域中的許多實際問題。
4.1 模型推導
在討論em演算法時，我們並未指定樣本來自於何種分布。實際應用中，常常假定樣本是來自正態分佈之總體的。也就是說，在進行聚類分析時，認為所有樣本都來自具有不同引數控制的數個正態總體。例如前面討論的男性女性身高問題，我們就可以假定樣本資料是來自如圖13-5所示的乙個雙正態分佈混合模型。這便有了接下來要討論的高斯混合模型。
4.2 應用例項
軟體包mclust提供了利用高斯混合模型對資料進行聚類分析的方法。其中函式mclust()是進行em聚類的核心函式，它的基本呼叫格式為
全文完。
機器學習 EM的演算法
初始化分布引數 m步驟 將似然函式最大化以獲得新的引數值 這個不斷的迭代，就可以得到使似然函式l 最大化的引數 了。那就得回答剛才的第二個問題了，它會收斂嗎？感性的說，因為下界不斷提高，所以極大似然估計單調增加，那麼最終我們會到達最大似然估計的最大值。理性分析的話，就會得到下面的東西 具體如何證明的...
機器學習 GMM引數估計的EM演算法
看理論之前先來 舉個例子 對於乙個未知引數的模型，我們觀測他的輸出，得到下圖這樣的直方圖 我們先假設它是由兩個高斯分布混合疊加而成的，那麼我們該怎麼去得到這兩個高斯分布的引數呢？em演算法！假設觀測資料 y1 y2，yn是由高斯混合模型生成的。p y k 1k k y k 其中，表示的是高斯模型的引...
詳解機器學習中的K近鄰演算法（中）
首先我們說一下k近鄰演算法的三個要素，第一就是超引數k，第二就是距離的定義，這距離的定義就是歐氏距離，第三就是決策的規則，比如投票表決，或者加權投票。這三個內容缺一不可。那麼k近鄰演算法的執行的步驟是什麼呢？這種演算法的執行步驟是比較簡答的，總共就有兩個步驟，第一步驟就是選擇k和距離的度量，第二個步...