一、前述
em演算法是解決數學公式的乙個演算法，是一種無監督的學習。
em演算法是一種解決存在隱含變數優化問題的有效方法。em演算法是期望極大(expectation maximization)演算法的簡稱，em演算法是一種迭代型的演算法，在每一次的迭代過程中，主要分為兩步：即求期望(expectation)步驟和最大化(maximization)步驟。
二、具體
1、高斯混合模型
所謂混合高斯模型（gmm）就是指對樣本的概率密度分布進行估計，而估計採用的模型（訓練模型）是幾個高斯模型的加權和（具體是幾個要在模型訓練前建立好）。每個高斯模型就代表了乙個類（乙個cluster）。對樣本中的資料分別在幾個高斯模型上投影，就會分別得到在各個類上的概率。得出乙個概率有很多好處，因為它的資訊量比簡單的乙個結果要多，比如，我可以把這個概率轉換為乙個 score ，表示演算法對自己得出的這個結果的把握。簡單的說就是：m個樣本,可以分為k類，每個類別都服從高斯分布。
2、em演算法概述
em演算法實際上是乙個不停迭代計算的過程，根據我們事先估計的先驗概率a，得出乙個結果b，再根據結果b，再計算得到結果a，然後反覆。
可以想象飯店的後方大廚，炒了兩盤一樣的菜，現在，菜炒好後從鍋中倒入盤，不可能一下子就分配均勻，所以先往兩盤中倒入，然後發現b盤菜少了，就從a中勻出一些，a少了，從b勻.......不停迭代。
給定訓練樣本（與k-means中的樣本一樣是沒有標籤的，因此em也是非監督學習方法）,認為他們滿足高斯分布
， 求估計引數
。
機器學習 EM演算法從初識到應用
一 前述 em演算法是解決數學公式的乙個演算法，是一種無監督的學習。em演算法是一種解決存在隱含變數優化問題的有效方法。em演算法是期望極大 expectation maximization 演算法的簡稱，em演算法是一種迭代型的演算法，在每一次的迭代過程中，主要分為兩步 即求期望 expectat...
機器學習 關聯規則演算法從初識到應用
一 前述 關聯規則的目的在於在乙個資料集中找出項之間的關係，也稱之為購物藍分析 market basket analysis 例如，購買鞋的顧客，有10 的可能也會買襪子，60 的買麵包的顧客，也會買牛奶。這其中最有名的例子就是 尿布和啤酒 的故事了。二 相關概念 交易集 包含所有資料的乙個資料集合...
機器學習 xgboost從初識到應用
一 前述 在 kaggle 的很多比賽中，我們可以看到很多 winner 喜歡用 xgboost，而且獲得非常好的表現，今天就來看看 xgboost 到底是什麼以及如何應用。gradient boosting 是 boosting 的其中一種方法，所謂boosting，就是將弱分離器 f i x 組...