共軛先驗 是啥？
網上找幾篇文章，收集與此！
今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。
contents
1.共軛先驗分布
2. 貝葉斯學習
3. beta分布及共軛先驗
1.共軛先驗分布
什麼又是共軛呢？軛的意思是束縛、控制，共軛從字面上理解，則是共同約束，或互相約束。
在貝葉斯概率理論中，如果後驗概率p(θ|x)和先驗概率p(θ)滿足同樣的分布律，那麼，先驗分布和後驗分布被叫做共軛分布，同時，先驗分布叫做似然函式的共軛先驗分布
比如，某觀測資料服從概率分布p(θ)時，當觀測到新的x資料時，我們一般會遇到如下問題：
可否根據新觀測資料x，更新引數θ？
根據新觀測資料可以在多大程度上改變引數θ，即
當重新估計θ的時候，給出新引數值θ的新概率分布，即p(θ|x)
事實上，根據根據貝葉斯公式可知：
其中，p(x|θ)表示以預估θ為引數的x概率分布，可以直接求得，p(θ)是已有原始的θ概率分布。
所以，如果我們選取p(x|θ)的共軛先驗作為p(θ)的分布，那麼p(x|θ)乘以p(θ)，然後歸一化的結果p(θ|x)跟和p(θ)的形式一樣。
換句話說，先驗分布是p(θ)，後驗分布是p(θ|x)，
先驗分布跟後驗分布同屬於乙個分布族，故稱該分布族是θ的共軛先驗分布（族）。
舉個例子。投擲乙個非均勻硬幣，可以使用引數為θ的伯努利模型，θ為硬幣為正面的概率，那麼結果x的分布形式為：
其共軛先驗為beta分布，具有兩個引數α和β，稱為超引數（hyperparameters）。且這兩個引數決定了θ引數，其beta分布形式為
然後計算後驗概率
歸一化這個等式後會得到另乙個beta分布，從而證明了beta分布確實是伯努利分布的共軛先驗分布。
2. 貝葉斯學習
首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有
的概率為正面朝上，那麼有
的概率是背
面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個
最可能是多少呢？
憑著直觀感覺，我們可能會認為是3/5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即
重複n次的伯努利實驗。由上述所述，很容易知道其概率表示如下
我們需要這個概率盡量大，那麼最終解得
的值為3/5。函式影象如下
但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到
的估計值是1？ 很明顯這種情
況得到的估計值不合理。為了避免這種「黑天鵝事件」的發生，需要將
值降低一些才能看似更符合常理，那麼
我們只需要乘上另乙個小於1的概率值就可以達到了。到了這裡貝葉斯公式橫空出世！如下
其中叫做先驗概率，
叫做似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而
後驗概率
正比於似然概率和先驗概率的乘積。
3. beta分布及共軛先驗
還是以擲硬幣為例，我們已經知道了後驗概率正比於似然概率和先驗概率的乘積。那麼在擲硬幣實驗中，硬幣的
朝向服從伯努利分布，在一系列投擲過程中，假設有
次正面朝上，有
次背面朝上，那麼似然概率為
現在已經得到了似然概率的形式了，那麼如何確定先驗概率呢？從理論上來說，任何乙個在區間[0, 1]上的分
布函式都符合條件，但是為了更方便地簡化計算，最理想的情況就是讓先驗分布和似然分布有相同的形式，即
如果先驗分布是這樣的形式，那麼計算先驗概率和似然概率的乘積就很方便了，只需要將指數相加即可。幸運
的是，有乙個很常見的分布恰好滿足這個條件，它就是beta分布。如下
其中是gamma函式。現在根據先驗概率、似然概率和貝葉斯公式來推導後驗概率。推導過程如下
在上述中，先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。
一. beta分布與二項分布的公式原理推導
二. beta分布與其共軛先驗的介紹
三. 多項式分布及beta分布的期望計算
參考：
貝葉斯學習及共軛先驗
貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 的概率為正面朝上，那麼有1 的概率是背面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個 最可能是多少呢？憑著頻數的直觀感覺，我們可能會認為是3 5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即重複n次...
貝葉斯學習及共軛先驗
今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.貝葉斯學習 2.beta分布及共軛先驗 1.貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 面朝上，那麼如...
貝葉斯學習及共軛先驗
共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...