貝葉斯公式
p (θ
∣x)=
p(x∣
θ)p(
θ)p(
x)
p( \theta|x)=\frac p}
p(θ∣x)
=p(x
)p(x
∣θ)p
(θ)xx
x: 觀測得到的資料（結果）
θ
\theta
θ: 決定資料分布的引數（原因）
p (θ
∣x
)p( \theta|x)
p(θ∣x)
: 後驗概率，已知結果找原因
p (x
∣θ
)p(x|\theta)
p(x∣θ)
: 似然估計，已經原因求結果
p (θ
)p(\theta)
p(θ)
: 先驗分布，先於結果
p (x
)p(x)
p(x)
:evidence（全概率公式）
（公式中的 「|」讀作 given，即給定的意思。如p(a|b) 即a given b 的概率）
最大似然估計是在對被估計量沒有任何先驗知識的前提下求得的。如果已知被估計引數滿足某種分布，則需要用到最大後驗估計。
引自知乎agenter
推薦閱讀乙個例子搞清楚（先驗分布/後驗分布/似然估計）
深入理解先驗分布 後驗分布 似然估計
下面舉例 隔壁老王要去10公里外的乙個地方辦事，他可以選擇走路，騎自行車或者開車，並花費了一定時間到達目的地。在這個事件中，可以把交通方式 走路 騎車或開車 認為是原因，花費的時間認為是結果。若老王花了乙個小時的時間完成了10公里的距離，那麼很大可能是騎車過去的，當然也有較小可能老王是個健身達人跑步...
先驗概率，似然估計和後驗概率
先驗 根據若干年的統計 經驗 或者氣候 常識 某地方下雨的概率 似然 下雨 果 的時候有烏雲 因 or 證據 or 觀察的資料 的概率，即已經有了果，對證據發生的可能性描述 後驗 根據天上有烏雲 原因或者證據 or 觀察資料 下雨 結果 的概率 後驗 先驗 似然 存在下雨的可能 先驗 下雨之前會有烏...
最大似然估計，最大後驗估計
p a b 這個公式看下面韋恩圖就懂了 在事件 b 發生的條件下發生事件 a 的概率 p a b 就是 ab 同時發生的概率 p ab 比 b 發生的概率 p b p a b frac 形式上很明顯，這個公式是條件概率變形而來 p a b rightarrow p a b p b p ab p b ...