筆者最近在學習bishop的prml，由於本書十分的經典，因此準備好好研讀，將其中理解的部分寫成部落格，加深印象和理解。同時在學習的過程中自身也遇到了很多數學上的問題，希望能和各位大佬們相互交流
首先要介紹的就是概率論中貝葉斯定理的推導。大家都知道貝葉斯定理就是
但是貝葉斯定理是怎麼來的呢？prml裡有著貝葉斯定理的推理過程。
我們先看圖1，這張圖是兩個隨機變數x和y的情況，其中x可以取值xi, i = 1,2,...m,y可以取值yj,j=1,...l。考慮n次實驗，對x和y進行取樣，把x=xi且y=yj的試驗的數量記作nij。把x取值xi（與y的取值無關）的試驗的數量記作ci，類似地把y取值yj的試驗的數量記作rj
圖1 隨機變數x和y的圖例
x取值xi並且y取值yj的概率被記作p(x=xi,y=yj),這被叫做x=xi和y=yj的聯合概率，計算方法為
同樣，x取值xi（與y取值無關）的概率被記作p（x=xi），這也叫做邊緣概率。計算方法為落在列i上的點的數量與點的總數的比值，即
圖2給出了兩個變數x和y的邊緣分布和條件分布的乙個例子。x可以取9個可能的值，y可以取兩個可能的值。左上圖是這兩個變數的聯合概率分布中抽取的60個樣本點，剩下的圖是估計邊緣分布p(x)和p(y)的直方圖，以及條件分布p(x|y=1)的直方圖，這個條件分布對應於左上圖的下面一行。
圖2 邊緣分布和條件分布圖
從圖1可以看出，ci就是這列中所有單元格中例項的數量之和，因此有
這被稱為概率的加和規則（sum rule）
當我們只考慮x=xi的例項，那麼這些例項中y=yj的例項所佔的比例被寫成p（y=yj | x=xi），這被稱為給定x下y的條件概率，計算方法為
從公式1.1、1.2和1.4可以推導出
這被稱為概率的乘積規則（product rule）。
根據乘積規則，以及對稱性p(x,y) = p(y,x),我們可以得到下式
這就是貝葉斯定理，根據加法規則，分母p(x)可以表示為
貝葉斯公式推導
樣本空間 乙個試驗所有可能結果的集合，用 表示。所以p 1 事件 樣本空間的乙個子集。用a b c表示。其實p a b 與p ab 很相似，即 a和b都會發生 我們換一句話來解釋這個p ab 在所有可能的結果下，a和b都發生的概率 而這個 所有可能的結果的概率 就是樣本空間的概率，也就是1。用條件概...
PRML 貝葉斯網路
把貝葉斯網路當做圖來描述的 巨集觀一下，google顯示此圖 用圖表示概率分布，和馬爾科夫鏈甚是有淵源，聯想到有人用neo4j圖資料庫的er 決n gram問題，肯定都是乙個套路給出p a,b c 的聯合分布形式 p a,b,c p c a b p a,b 繼續 p a b,c p c a,b p ...
全概率公式 貝葉斯公式推導過程
1 條件概率公式 設a,b是兩個事件，且p b 0,則在事件b發生的條件下，事件a發生的條件概率 conditional probability 為 p a b p ab p b 2 乘法公式 1.由條件概率公式得 p ab p a b p b p b a p a 上式即為乘法公式 2.乘法公式的推...