最大似然：
通過求對數化簡，可將目標方程轉化為最小化均方誤差，
特點：忽略先驗，最終求得引數的單點估計。
貝葉斯：
特點：考慮先驗，求解引數的完整概率密度函式（貝葉斯後驗概率分布）
其中p(w)認為設定（如服從均值為0，方差為i的高斯分布）
最大後驗（map）：
特點:將先驗轉化為最大似然中的懲罰項。許多正規化估計方法，例如權重衰減正則化的最大似然學習，可以被解釋為貝
葉斯推斷的map近似。這個適應於正則化時加到目標函式的附加項對應著log p()。
並非所有的正則化懲罰都對應著map 貝葉斯推斷。例如，有些正則化項可能不是一
個概率分布的對數。還有些正則化項依賴於資料，當然也不會是乙個先驗概率分布。map貝葉斯推斷提供了乙個直觀的方法來設計複雜但可解釋的正則化項。例如，通過混合高斯模型可得到更複雜的正則化項。
最大似然估計 最大後驗估計 貝葉斯估計理解（轉
看了這篇文章，寫一些自己的理解。1.最大似然估計mle 通過令導數等於零求得使對數似然函式最大化的引數。2.最大後驗估計map 核心公式 條件概率公式 p thita x p x thita p thita p x 這裡求令p thita x 最大的thita,和p x 無關則約去。所以map最大化...
最大後驗與最大似然
p x z p z x p x p z p z x p x 貝葉斯法則左側p x z 通常被稱為後驗概率，右側p z x 稱為似然，p x 稱為先驗 直接求後驗分布是困難的，但是求乙個狀態最優估計，使得在該狀態下後驗概率最大化 map 則是可行的 xmap arg maxp x z arg maxp...
貝葉斯估計與最大似然估計
極大似然估計 極大似然估計的基本想法是 我們所看到的，就是最可能發生的。所以通過最大化實驗資料發生的概率 p x 其中引數 是未知的 取極值時對應的 即為最大似然估計。貝葉斯估計p x p x p p x p 表示乙個事件發生的 概率，例如扔乙個硬幣的結果正面朝上的概率，這個 概率 是乙個隨機變數，...