為什麼選擇
重述貝葉斯思想
拋硬幣問題的多情況分析
總結本節詳細介紹
的原因。
1.
分布
函式的定義:
其中 ,對於等式兩邊各除以
,以字母p代替x,得:
選擇積分項作為
的分布函式，由積分項可知
分布已完成標準化(總積分等於1)。
因此，
分布:分布的期望和方差:
如何理解beta分布？
beta 分布歸一化的證明（係數是怎麼來的），期望和方差的計算
2.
分布作為先驗分布的原因
由 分布的定義可知,
分布是概率分布的分布，
分布常作為先驗分布的原因:
(1) 貝葉斯對引數的估計與先驗分布的選擇有很重要的關係，先驗分布不同，貝葉斯對引數的估計也不同。先驗分布往往是人們根據以往經驗去設計，
分布是概率分布的分布，涵蓋了所有引數空間出現的概率大小，並通過設定引數
,可以使先驗分布與你的先驗經驗基本符合。
由上圖可知，
分布符合均勻分布，即引數空間所有取值的概率相等。
因此，當你對引數沒有任何的先驗知識時，建議你假設先驗引數符合均勻分布，引數的後驗分布由你的實際觀測資料決定。
由上圖可知，
， 分布符合高斯分布，且在概率為0.5時取得最大值，由
分布期望和方差的公式可知期望和方差分別等於0.5和0.01。
假設引數的先驗分布是高斯分布，設定引數
相等 使
分布成為高斯分布，
越大，方差越小。
因此，設定
使引數的先驗分布符合你對引數的先驗認知。
(2) 上節已經提到，引數的先驗分布是
分布時，則先驗分布和後驗分布形式一樣，且可以形成先驗鏈，方便分析問題。
關於頻率學派和貝葉斯學派對頻率的理解可以參考頻率學派和貝葉斯學派
貝葉斯思想是量化事件發生的不確定性，是主觀評價。不同人評價同一事件發生的概率不同，因為不同人的生活經歷不同，對某一事件的先驗知識很可能不同，比如乙個博士生和乙個小學生對某一事件的看法不同；同乙個人對同一事件發生的概率也隨著自身閱歷的增加而不同，例如某個人做了九件好事，你評估他是好人的概率為0.9，當他做了一件大逆不道的事情後，你評估他是好人的概率降到了0.1。貝葉斯評價事件發生的概率帶有主觀性，因人而異，因閱歷而不同。
凡事要講資料
我們根據自己的閱歷對某一事件作乙個先驗假設，先驗假設是否正確需要經過時間的檢驗，即是否有足夠多的觀測資料符合先驗假設。先驗假設和觀測資料是影響後驗假設的兩個因素，若觀測資料不符合先驗假設，則後驗假設在先驗假設的基礎上開始向觀測資料偏斜，若觀測的資料為無窮大時，則先驗假設可以忽略不計，直接通過觀測資料來估計後驗假設。因此，貝葉斯思想評價事件發生概率的準則是凡是要講資料。
拋硬幣問題的公式說明
在頻率學派和貝葉斯學派一文中已經通過例子推導了拋硬幣正面向上的後驗概率，因此，這裡不再推導，只引用一些結論性的公式。
假設硬幣正面向上的概率為u,正面向上記為1，反面向上記為0。則硬幣正面向上的先驗分布如下：
硬幣正面向上的期望:
其中a,b表示虛擬的硬幣正面向上的次數和反面向上的次數，根據自己的先驗知識來設定a,b值。
若後續的觀測結果為m次正面向上，l次反面向上，共n次。
則硬幣正面向上的後驗分布如下:
硬幣為正面向上的概率:
多情況的拋硬幣問題
(1) 第1次拋硬幣為正面向上的概率；
(2) 9次硬幣正面向上，1次反面向上，第十一次硬幣正面向上的概率；
(3) 90次硬幣正面向上，10次硬幣反面向上，求101次正面向上的概率；
(4) 900次硬幣正面向上，100次硬幣反面向上，求1001次正面向上的概率；
解:貝葉斯的後驗分布受先驗分布的影響，不同的先驗分布會有不同的後驗分布。假設硬幣正面向上的分布符合高斯分布(a=10,b=10),高斯分布符合大部分人的思想，認為硬幣為正面向上的概率在0.5達到最大，方差表示先驗分布的確定程度，若你堅信硬幣向上的概率肯定是0.5，那麼可以調大a和b的值。
本文就先驗分布為高斯分布來解答拋硬幣的四個問題。其他先驗分布可通過調節a,b的值來實現，後面的計算過程一致。
正面向上的後驗概率:
a,b,m,l分別表示先驗分布的正面向上次數，反面向上次數，已觀測資料的正面向上次數，反面向上次數。
先驗分布為高斯分布:
(1) 由於沒有任何觀測資料，因此第一次正面向上的分布為先驗分布，先驗分布在引數為0.5時，概率最大，記正面向上的概率為0.5。
(2) 正面向上的概率為:
(3) 計算過程與(2)一樣，正面向上的概率:0.83
(4) 正面向上的概率為:0.89
討論：頻率學派認為硬幣向上的概率是0.5，與觀測資料無關。貝葉斯學派是通過資料來主觀評價硬幣向上的概率，由例子可知，即使先驗分布符合高斯分布且正面向上的概率在0.5達到最大，但是如果觀測資料傾向與正面向上，則最終的判斷結果會傾向於正面向上，貝葉斯思想有點像是風往哪邊吹樹就往哪邊倒的意思。當觀測結果的正面向上次數遠遠大於正面向下次數，也遠遠大於先驗分布的正面向下次數，則判斷下次為正面向上的概率無限接近1。
本文詳細介紹了
分布，通過調節引數a和b使
分布符合假設的先驗分布，
分布使後驗分布和先驗分布為共軛分布，形成先驗鏈，便於分析問題。後面講的內容是貝葉斯思想，貝葉斯是主觀評價事件發生的概率，根據先驗知識來假設先驗分布，若觀測的資料符合先驗分布，則後驗分布與先驗分布類似；若觀測資料不符合先驗分布，則後驗分布開始向觀測資料傾斜，若觀測資料為無窮大時，那麼先驗分布可以忽略不計，最大似然函式估計引數與後驗分布估計引數相同，直接可以用最大似然函式來估計引數。
貝葉斯公式
貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展，用來描述兩個條件 概率之間的關係，比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...
貝葉斯公式
貝葉斯定理由英國 數學家貝葉斯 thomas bayes 1702 1763 發展，用來描述兩個條件 概率之間的關係，比如 p a b 和 p b a 按照乘法法則 p a b p a p b a p b p a b 可以立刻匯出 貝葉斯定理公式 p a b p b a p a p b 如上公式也可...
貝葉斯公式
是基於樸素貝葉斯定理分類器，其計算過程是在訓練階段的時候，先計算每個分類的先驗概率p a 和各個分類下面特徵屬性的條件概率p b a 的過程 反推特徵 分類的條件概率 a b 取最大概率作為分類結果。貝葉斯定理 已知a 分類 的條件概率，b 某個特徵 在a發生後的條件概率，求a在b發生後的條件概率 ...