有關MAP ML和EM的個人理解

2021-09-09 00:03:02 字數 1140 閱讀 1734

1.貝葉斯學習

要了解這三個概念,需要先知道什麼是貝葉斯學習。

貝葉斯學習就是根據給定資料的先驗概率計算每種假設的可能性,它是基於先驗和後驗概率的乘積的,計算式如下:

這個公式的意思是,在某個data出現的情況下,這個data屬於某一class類的概率等於這個class的先驗概率乘以後驗概率,其中p(class)是先驗概率,p(data|class)是條件概率。

2.map(最大後驗概率)

上面的式子為每一類(class)都求出了在某個data出現情況下,屬於這類(class)的概率。然而,大多數時候,我們只是想知道這個data最可能屬於哪一類。那麼,我們只求出使上個式子左邊最大的那個類即可,這就是map,公式如下:

3.ma(最大似然)

該種情況下,我們假設先驗概率分布是均勻的,即認為每個

也就是說,我們僅僅根據當前的得到的資料,來對它屬於某一類(也可以說成它的引數)進行估計。估計的標準是,該引數或該類將令出現該資料的概率最大。

4.em(最大期望)

最大期望指的是,在所有隱變數未知的情況下,根據現有資料,估計出資料的分布引數(例如:混合高斯分布或者僅僅單一高斯分布),這是一種無監督聚類方法。公式如下:

c代表多個不同分布,x代表資料,

總的來說,最大期望演算法採用e步驟和m步驟迭代,直到收斂。

e步驟:

m步驟:

計算新的引數(均值,協方差或方差)和權重

這部分可以參考混合高斯模型的**《adaptive background mixture models for real-time tracking》以及《混合高斯模型gmm(英文)》

基本的思路就是先任意給定乙個初始的引數和權值(一般為1/n,n是高斯分布的數量),然後根據獲得的資料來不斷的更新引數和權值,直到某一次迭代得到的引數和權值與上一次迭代的引數和權值相差小於某個小量(例如為0.001),我們說引數收斂,迭代停止。

EM演算法的理解

建議先看一下下面這篇關於極大似然函式的理解,要不下面理解起來有點困難。極大似然的理解 還是上面的部落格中的例子。你想要的知道學校的男生和女生的身高分布。你該怎麼做呢?首先假設全校同學的身高分布是符合正態分佈的。那麼,我們就需要知道正態分佈的均值和方差。那該怎麼求呢?總不能全部統計一下吧,這樣太費時費...

有關生信的鏈結和個人部落格

這是研究生中自己收藏的關於生信的學習鏈結和一些比較好的個人部落格推薦。後續如果遇到比較好的生信學習資料也會增加在這裡,所以,建議你也收藏唄。高通量測序資料處理學習記錄 一 比對軟體star的使用 高通量測序資料處理學習記錄 二 read counts的提取 高通量測序資料處理學習記錄 三 pathw...

有關springIOC 和DI自己的理解

在傳統開發中,我們需要進行分層開發web service 持久層,我們在web層通常需要乙個service服務通常是 在web層 uerservice userservice new userserviceimpl 折讓最然能夠在web層使用service層物件,但是會在程式中將 寫死,不利於後期的...