Deep learning 十八關於隨機取樣

由於最近在看deep learning中的rbms網路，而rbms中本身就有各種公式不好理解，再來幾個gibbs取樣，就更令人頭疼了。所以還是覺得先看下gibbs取樣的理論知識。經過調查發現gibbs是隨機取樣中的一種。所以本節也主要是簡單層次的理解下隨機採用知識。參考的知識是部落格

隨機模擬的基本思想和常用取樣方法（sampling），該博文是網上找到的解釋得最通俗的。其實學校各種帶數學公式的知識時，最好有學者能用通俗易懂的語言介紹，這對入門學者來說極其重要。當然了，還參考了網頁

中的一些資料。

取樣是指我們知道乙個樣本x（大多數情況下是多維的）的概率分布函式，要通過這個函式來產生多個樣本點集合。有的人可能會問，這有什麼難的，matlaab等工具不是有命令來產生各種分布的樣本麼？比如說均值分布，正太分布的。對，確實沒錯，但這些分布樣本點的產生也不是很容易的，需要精心設計。如果把函式域中的每個函式都去花精力設計它的樣本產生方法，豈不是很費力。所以就出現了隨機取樣的方法，只要能逼近理論結果值就ok了。當然了，這只是隨機採用方法出現的一種原因，純屬個人理解，肯定還有不少其它方面的因素的。

分下面幾個部分來介紹常見的隨機取樣方法：

一、拒絕——接受取樣

該方法是用乙個我們很容易取樣到的分布去模擬需要取樣的分布。它要滿足一些條件，如下：

其具體的採集過程如下所示：

幾何上的解釋如下：

由上面的解釋可知，其實是在給定乙個樣本x的情況下，然後又隨機選取乙個y值，該y值是在輪廓線mq(x)下隨機產生的，如果該y值落在2條曲線之間，則被拒絕，否則就會被接受。這很容易理解，關於其理論的各種推導這裡就免了，太枯燥了，哈哈。

二、重要性取樣。

我對重要性取樣的理解是該方法目的並不是用來產生乙個樣本的，而是求乙個函式的定積分的，只是因為該定積分的求法是通過對另乙個叫容易採集分布的隨機採用得到的（本人研究比較淺，暫時只能這麼理解著）。如下圖所示：

其中通過對q(x)的隨機取樣，得到大量的樣本x，然後求出f(x)*w(x)的均值，最終得出積分i值。其中的w(x)也就是重要性了，此時如果q(x)概率大，則得到的x樣本數就多，這樣w(x)的值也就多了，也間接體現了它越重要。

三、 metropolis-hasting

該方法是用乙個建議分布以一定概率來更新樣本，有點類似拒絕——接受取樣。其過程如下所示：

四、gibbs取樣

gibss採用是需要知道樣本中乙個屬性在其它所有屬性下的條件概率，然後利用這個條件概率來分布產生各個屬性的樣本值。其過程如下所示：

Deep learning 十八關於隨機取樣

Deep learning 十八關於隨機取樣

史上最簡單的 MySQL 教程（十八）關係

史上最簡單的 MySQL 教程（十八）關係

Deep learning 十八 關於隨機取樣

Deep learning 十八 關於隨機取樣

史上最簡單的 MySQL 教程（十八） 關係

史上最簡單的 MySQL 教程（十八） 關係

相關推薦

Deep learning 十八關於隨機取樣

Deep learning 十八關於隨機取樣

史上最簡單的 MySQL 教程（十八）關係

史上最簡單的 MySQL 教程（十八）關係