今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。
contents
1. 貝葉斯學習
2. beta分布及共軛先驗
1. 貝葉斯學習
首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有
面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個
憑著直觀感覺，我們可能會認為是3/5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即
重複n次的伯努利實驗。由上述所述，很容易知道其概率表示如下
我們需要這個概率盡量大，那麼最終解得3/5。函式影象如下
但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到
況得到的估計值不合理。為了避免這種「黑天鵝事件」的發生，需要將
我們只需要乘上另乙個小於1的概
率值就可以達到了。到了這裡貝葉斯公式橫空出世！如下
其中先驗概率，似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而
後驗概率
2. beta分布及共軛先驗
還是以擲硬幣為例，我們已經知道了後驗概率正比於似然概率和先驗概率的乘積。那麼在擲硬幣實驗中，硬幣的
朝向服從伯努利分布，在一系列投擲過程中，假設有
現在已經得到了似然概率的形式了，那麼如何確定先驗概率呢？從理論上來說，任何乙個在區間[0, 1]上的分
布函式都符合條件，但是為了更方便地簡化計算，最理想的情況就是讓先驗分布和似然分布有相同的形式，即
如果先驗分布是這樣的形式，那麼計算先驗概率和似然概率的乘積就很方便了，只需要將指數相加即可。幸運
的是，有乙個很常見的分布恰好滿足這個條件，它就是beta分布
。如下
其中gamma函式
。現在根據先驗概率、似然概率和貝葉斯公式來推導後驗概率。推導過程如下
在上述中，先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。
最後推薦一些好文章！
一. beta分布與二項分布的公式原理推導
二. beta分布與其共軛先驗的介紹
三. 多項式分布及beta分布的期望計算
貝葉斯學習及共軛先驗
貝葉斯學習 首先，我從最簡單的硬幣投擲開始。現在給你乙個硬幣，假設有 的概率為正面朝上，那麼有1 的概率是背面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個 最可能是多少呢？憑著頻數的直觀感覺，我們可能會認為是3 5，當然這是根據統計規律得到的結論。那麼實際上這是乙個二項分布，即重複n次...
貝葉斯學習及共軛先驗
共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...
貝葉斯學習及共軛先驗
共軛先驗 是啥？網上找幾篇文章，收集與此！今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，裡面用到了一些，另外在機器學習中，貝葉斯學習是重要的乙個方向，所以有必要學習和掌握。contents 1.共軛先驗分布 2.貝葉斯學習 3.beta分布及共軛先驗 1.共軛先驗分布 什麼又是共...