空間抽樣與統計推斷貝葉斯統計學簡介

2023年，也就是英國學者bayes去世後兩年，他的一篇傳世遺作發表了，其中提出了bayes公式。

bayes公式從形式上看，它只不過是條件概率定義的乙個簡單的推論，這個「簡單的公式」為什麼會導致統計學中乙個學派的崛起。

這是因為貝葉斯在文章中點明了一種全新的統計學歸納推理的思想，直到二十世紀前中期，在jeffreys、keynes等學者的推動下，貝葉斯學派取得了較大的影響，而貝葉斯學派和頻率學派的經年苦鬥成為了學術界非常著名的論戰，至今依然沒有分出高下。

統計推斷，或者叫做推斷統計學（statistical inference）是指統計學中研究如何根據樣本資料去推斷總體數量特徵的方法。統計推斷主要可以分為兩大類：一類是引數估計問題；另一類是假設檢驗問題。

統計推斷的任務，就是根據樣本去作出某種關於總體的未知引數的概率形式的論斷。比如對未知引數

統計推斷可能使用如下三種資訊：

一總體資訊，即總體分布或所屬分布族的資訊。

二樣本資訊，即從總體抽取的樣本的資訊。

三先驗資訊，即在抽樣之前有關統計問題的一些資訊，主要**於經驗和歷史資料。

只使用第一種和第二種資訊進行的統計推斷被稱為經典統計學，也叫做頻率學派，它的基本觀點是把資料（樣本）看成是來自具有一定概率分布的總體，所研究的物件是這個總體而不限於資料本身。

基於上面三種資訊進行的統計推斷叫做貝葉斯統計學。它和頻率學派的主要差別在於是否利用先驗資訊。貝葉斯統計學對先驗資訊的收集挖掘和加工，使其數量化，形成先驗分布，提高統計推斷的質量。

例如，假定投擲一枚普通的硬幣3次，每次都是正面朝上。frequentist的極大似然模型在估計硬幣正面朝上的概率時，結果會是1，表示所有未來的投擲都會是正面朝上! 相反，乙個帶有任意的合理的先驗的bayesian方法不會得出這麼極端的結論。

貝葉斯學派的最基本的觀點是：任何乙個未知量

看作乙個隨機變數，應該使用乙個概率分布去描述

抽樣前就有的，被稱為先驗分布。

那麼問題也來了，如何確定先驗分布？

這也是貝葉斯統計學的真正的難點。

根據貝葉斯公式，後驗分布：

其中是先驗概率分布，

是後驗概率分布，分母是關於 x 的邊緣概率分布。

分母是關於x的邊緣概率分布，在給定觀測資料的情況下，它是乙個歸一化常數，確保了左側的後驗概率分布是乙個合理的概率密度，積分為1。

後驗分布集中了總體，樣本和先驗三種資訊中有關

的一切資訊，而又排除了一切與

無關的資訊之後（對

的積分）所得的結果，故基於後驗分布進行統計推斷更為有效和合理。

得出了後驗分布以後，對引數

的任何統計推斷，都只能基於這個後驗分布，這符合人們認識事物的通常程式：在試驗前關於引數

的認識（先驗分布）的基礎上，由於有了新的資訊（樣本），使我們

修正了原來的認識，體現在後驗分布中。

貝葉斯學派認為，樣本的唯一作用在於它可以使我們對

的認識起到轉化。

注意，在貝葉斯統計推斷中一些頻率學派的方法不能用了，比如無偏性，矩估計，極大似然估計在某些條件下可以使用。

貝葉斯框架源於18世紀，但是貝葉斯方法的實際應用一直受限，原因是貝葉斯後驗分布在高維計算上的困難，執行完整的貝葉斯步驟的困難性較大，尤其是需要在整個引數空間求和或者求積分，貝葉斯統計推斷非常難以實現，這在做**或者比較不同的模型時必須進行。

取樣方法的發展，例如馬爾可夫蒙特卡羅（mcmc），加上計算機速度和儲存容量的巨大提公升，使貝葉斯技術應用更加方便。

21世紀以來，有很多高效的判別式方法被提出，例如變分貝葉斯( variational bayes)和期望傳播(expectation propagation)，讓貝葉斯方法能夠應用於大規模的應用中。

空間抽樣與統計推斷 貝葉斯統計學簡介