前文我們介紹過二項分布與beta分布，本文是其乙個更加generalized的版本。
首先我們先看乙個例子：假設我們有乙個六個面的公平骰子，即，每個面出現的概率都是1/6。我們擲骰子
可以看出，與硬幣不同，骰子有六個面，擲骰子結果不僅僅有兩種可能，有多種可能。我們把這個模型generalize一下，對於
個可能發生的結果，每乙個對應的概率是
，進行次重複試驗後，對於每個結果觀測到的個數分別為
的概率為
這個就是多項分布。它是二項分布的乙個generalized的版本。可以看出，當
時，多項分布也就退化成了二項分布。當然，也可以說二項分布是多項分布在
時的乙個特例。
對於一次試驗，我們用
表示得到的結果。我們知道
有 種可能。我們用
來表示所有可能的結果的集合。我們可以把結果
和 看成乙個隨機事件的兩種結果，那麼就可以將該模型簡化為乙個伯努利模型，
於是就變成了乙個二項分布的變數。顯然我們有
我們用一種one-hot的方式來表示一次試驗的結果，那麼
需要注意的是，在
中只有乙個值為1，其他均為0。對於結果
來講，。 那麼對於一次實驗，我們得到
的概率為
這裡我們用
來表示概率向量。顯然，我們有
。假設我們有乙個資料集
（注意這裡有一定的觀測順序），
表示第
次實驗觀察到的結果。因此，當概率為
的條件下，我們可以觀測到
的概率為
基於貝葉斯定理，我們有
因為我們對
沒有任何先驗，我們既不傾向於
應該去什麼值，也不討厭
取到什麼值。因此
，是乙個常數。
這裡我們需要解決乙個棘手的積分，既
而且這裡需要注意的是，積分實在乙個超平面上進行的，既
。 其實我們可以看出
是和成正比的，即
而上面說到的積分其實是幫助
歸一的乙個常數。這個積分實際上是乙個多元beta函式，解法我們在這裡按下，直接給出結論先。
令，則有
這就是乙個標準的dirichlet分布。
我們現在來驗證乙個想法，假設我們在
到 時刻做試驗，觀測到的結果是
，而從
到 時刻實驗觀察到的結果則是
。我們以
的觀察結果為先驗，以
的結果為條件概率，那麼來看一下
的後驗概率為。首先，我們有
基於貝葉斯定理，我們可以求出
令，於是
可見，結果仍然是乙個dirichlet分布。
參考資料
二項分布 多項分布 伽馬函式 Beta分布
0 1分布 在一次試驗中，要麼為0要麼為1的分布，叫0 1分布。二項分布 做n次伯努利實驗，每次實驗為1的概率為p,實驗為0的概率為1 p 有k次為1，n k次為0的概率，就是二項分布b n,p,k 二項分布計算 換一種表達方式，做n次伯努利實驗，每次實驗為1的概率是p1,實驗為0的概率是p2,有p...
beta分布 Beta 分布的物理意義
假設某個硬幣，在toss之後，可以很穩定的以 那麼顯然，在 已知的情況下，發生的概率服從二項分布，其pmf probability mass functions 為 而的邊緣pmf需要對聯合概率分布 關於求積分，即 我們對 沒有任何先驗知識。那也就是意味著，我們不知道 的取值更傾向於哪些數 概率或概...
Gamma 分布與 Beta 分布及共軛的含義
gamma函式可將許多數學概念從整數集延拓到實數集合。x 0tx 1e tdt 我們來看對beta分布的改造 f x n n 1k 1 x k 1 1 x n kn n 1 k 1 n k xk 1 1 x n kn k 1 n k xk 1 1 x n k n 1 k n k 1 xk 1 1 x...