看了這篇文章，寫一些自己的理解。
1.最大似然估計mle：通過令導數等於零求得使對數似然函式最大化的引數。
2.最大後驗估計map：核心公式——條件概率公式
p(thita|x) = (p(x|thita)*p(thita))/p(x)
這裡求令p(thita|x)最大的thita,和p(x)無關則約去。所以map最大化的函式相比於mle多了乙個thita的先驗分布p(thita), 如果p(thita)是乙個均勻分布，即不知道任何引數的先驗資訊，那麼map就相當於mle.
3.貝葉斯估計
貝葉斯和前面兩個的主要區別是在於估計出來的引數不是乙個確定的值，而是乙個分布。
貝葉斯估計與最大似然估計
極大似然估計 極大似然估計的基本想法是 我們所看到的，就是最可能發生的。所以通過最大化實驗資料發生的概率 p x 其中引數 是未知的 取極值時對應的 即為最大似然估計。貝葉斯估計p x p x p p x p 表示乙個事件發生的 概率，例如扔乙個硬幣的結果正面朝上的概率，這個 概率 是乙個隨機變數，...
最大似然估計，最大後驗估計
p a b 這個公式看下面韋恩圖就懂了 在事件 b 發生的條件下發生事件 a 的概率 p a b 就是 ab 同時發生的概率 p ab 比 b 發生的概率 p b p a b frac 形式上很明顯，這個公式是條件概率變形而來 p a b rightarrow p a b p b p ab p b ...
最大似然估計 最大似然估計與最大後驗估計聯絡
引數估計的目的是決定變數之間相互關聯的量化關係。常用的引數估計方法包括最大似然估計法 最大後驗估計 期望最大化法 em 和貝葉斯估計方法。在觀測資料前，我們將 的已知知識表示成先驗概率分布，p 我們通常稱為先驗。一般而言，在機器學習實踐的時候，會選擇乙個相當寬泛的先驗分布 這個先驗分布通常是高熵的分...