貝葉斯學習及共軛先驗

共軛先驗 是啥？

網上找幾篇文章，收集與此！

今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。

contents

1.共軛先驗分布

2. 貝葉斯學習

3. beta分布及共軛先驗

1.共軛先驗分布

什麼又是共軛呢？軛的意思是束縛、控制，共軛從字面上理解，則是共同約束，或互相約束。 

在貝葉斯概率理論中，如果後驗概率p(θ|x)和先驗概率p(θ)滿足同樣的分布律，那麼，先驗分布和後驗分布被叫做共軛分布，同時，先驗分布叫做似然函式的共軛先驗分布

比如，某觀測資料服從概率分布p(θ)時，當觀測到新的x資料時，我們一般會遇到如下問題：

可否根據新觀測資料x，更新引數θ？

根據新觀測資料可以在多大程度上改變引數θ，即

當重新估計θ的時候，給出新引數值θ的新概率分布，即p(θ|x)

事實上，根據根據貝葉斯公式可知：

其中，p(x|θ)表示以預估θ為引數的x概率分布，可以直接求得，p(θ)是已有原始的θ概率分布。

所以，如果我們選取p(x|θ)的共軛先驗作為p(θ)的分布，那麼p(x|θ)乘以p(θ)，然後歸一化的結果p(θ|x)跟和p(θ)的形式一樣。

換句話說，先驗分布是p(θ)，後驗分布是p(θ|x)，

先驗分布跟後驗分布同屬於乙個分布族，故稱該分布族是θ的共軛先驗分布（族）。

舉個例子。投擲乙個非均勻硬幣，可以使用引數為θ的伯努利模型，θ為硬幣為正面的概率，那麼結果x的分布形式為：

其共軛先驗為beta分布，具有兩個引數α和β，稱為超引數（hyperparameters）。且這兩個引數決定了θ引數，其beta分布形式為

然後計算後驗概率

歸一化這個等式後會得到另乙個beta分布，從而證明了beta分布確實是伯努利分布的共軛先驗分布。

2. 貝葉斯學習

首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有

面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個

憑著直觀感覺，我們可能會認為是3/5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即

重複n次的伯努利實驗。由上述所述，很容易知道其概率表示如下

我們需要這個概率盡量大，那麼最終解得

但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到

況得到的估計值不合理。為了避免這種「黑天鵝事件」的發生，需要將

我們只需要乘上另乙個小於1的概率值就可以達到了。到了這裡貝葉斯公式橫空出世！如下

其中後驗概率

3. beta分布及共軛先驗

還是以擲硬幣為例，我們已經知道了後驗概率正比於似然概率和先驗概率的乘積。那麼在擲硬幣實驗中，硬幣的

朝向服從伯努利分布，在一系列投擲過程中，假設有

現在已經得到了似然概率的形式了，那麼如何確定先驗概率呢？從理論上來說，任何乙個在區間[0, 1]上的分

布函式都符合條件，但是為了更方便地簡化計算，最理想的情況就是讓先驗分布和似然分布有相同的形式，即

如果先驗分布是這樣的形式，那麼計算先驗概率和似然概率的乘積就很方便了，只需要將指數相加即可。幸運

的是，有乙個很常見的分布恰好滿足這個條件，它就是beta分布。如下

其中

在上述中，先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。

一. beta分布與二項分布的公式原理推導

二. beta分布與其共軛先驗的介紹

三. 多項式分布及beta分布的期望計算

參考：

貝葉斯學習及共軛先驗

貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 的概率為正面朝上，那麼有1 的概率是背面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個 最可能是多少呢？憑著頻數的直觀感覺，我們可能會認為是3 5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即重複n次...

貝葉斯學習及共軛先驗

今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.貝葉斯學習 2.beta分布及共軛先驗 1.貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 面朝上，那麼如...

貝葉斯學習及共軛先驗

共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...