共軛先驗分布的提出：某觀測資料服從概率分布p
(θ），
當觀測到新的資料時，思考下列問題：
1.能否根據新觀測資料x更新引數θ；
2.根據新觀測的資料可以在多大的程度上改變引數θ：θ=θ+rθ；
3.當重新估計得到θ時，給出的新引數數值θ的新概率分布p(θ
|x)；分析：根據貝葉斯公式：p(θ
|x)=p
(x|θ
)p(θ
) / p(x
),其中p(x
|θ)是在已知θ的情況下估計x的概率分布，又稱似然函式；p(θ
)是原有的θ的概率分布；要想利用觀測到的資料更新引數θ，就要使更新後的p(θ
|x)和p(
θ)服從相同的分布，所以p(θ
)和p(θ|
x)形成共軛分布，p(θ
)叫做p(θ
|x)的共軛先驗分布。
舉個投硬幣的例子：使用引數θ的伯努利模型，θ為正面的概率，則結果為x的概率分布為：p(x
|θ)=θx
(1−θ
)1-x
伯努利模型的共軛先驗分布為beta分布，常見的共軛先驗分布有： 總體
分布二項
分布泊松
分布指數
分布正態
分布(方
差已知)
正態分佈
(方差未
知)引數
成功概率
均值均值
的倒數均
值方差共
軛先驗分
布貝塔分
布bet
a(α,
β)伽馬
分布γ(
k,θ)
伽馬分布
γ(k,
θ)正態
分布n(
μ,σ2
)逆伽馬
分布ig
a(α,
β)計算後驗概率p(θ
|x)=p(x|
θ)p(
θ) / p(x
)~p(x|
θ)p(
θ) ~p(x
|θ)，得到的概率分布與先驗概率一致，所以最初的目標「能否根據新觀測資料x更新引數θ」可以成立。 θ
bonvli (x
+1−1
)θ(x
+1−1
)θ(x
+1−1
)
先驗分布 後驗分布 似然估計
貝葉斯公式 p x p x p p x p theta x frac p p x p x p x p xx x 觀測得到的資料 結果 theta 決定資料分布的引數 原因 p x p theta x p x 後驗概率，已知結果找原因 p x p x theta p x 似然估計，已經原因求結果 p ...
什麼叫共軛先驗或者共軛分布？
來自 如果你讀過貝葉斯學習方面的書或者 想必是知道共軛先驗這個名詞的。現在假設你閉上眼睛，你能準確地說出共軛分布是指哪個分布和哪個分布式共軛的嗎？我之前就常常把這個關係弄錯，現在記錄如下，以加強印象。貝葉斯學派和頻率學派的區別之一是特別重視先驗資訊對於inference的影響，而引入先驗資訊的手段有...
先驗概率 後驗概率以及共軛先驗
在貝葉斯學派的觀點中，先驗概率 後驗概率以及共軛分布的概念非常重要。而在機器學習中，我們閱讀很多資料時也要頻繁地跟他們打交道。所以理清這些概念很有必要。歡迎關注白馬負金羈的部落格 為保證公式 圖表得以正確顯示，強烈建議你從該位址上檢視原版博文。本部落格主要關注方向包括 數字影象處理 演算法設計與分析...