最開始知道生成模型和判別模型，是在李航的統計學習方法裡，當時的理解是：生成模型，就是同時考慮了x和y的隨機性，也就是說二者都是隨機變數；判別模型，就是只考慮了y的隨機性，而x並不是個隨機變數，即使x存在於條件中，但是並沒有p(x)這種說法。當時同時也知道了，樸素貝葉斯和隱馬爾可夫都是生成模型，最主要的原因就是在這兩個模型中涉及到的變數都是隨機變數。生成模型可以轉變成判別模型，也就是生成模型由於考慮的都是隨機變數，可以通過條件概率公式計算出條件概率；反之不行，因為判別模型無法描述聯合概率分布。
後來又在學深度學習的時候看到了生成模型，好像對生成模型的理解又加深了一些。
生成模型是根據一些已經觀測到的樣本點，學習乙個引數化模型$p_(x)$，來近似這些樣本所符合的真實分布$p_(x)$。可以用這個學習到的模型$p_(x)$來生成一些新樣本，使得這些新樣本和已知樣本一樣是符合真實分布$p_(x)$的。所以生成模型有三個基本用處：乙個是概率密度估計，乙個是取樣，還有就是監督學習，如樸素貝葉斯。
因為在高維空間中，變數之間的關係比較複雜，沒辦法去準確的畫出變數之間的圖模型結構，然後就會引入隱變數z來簡化模型，如果要建模$(x,z)$，問題就會轉化為求解$p_(z)$和$p_(x\mid z)$，隱變數可以由先驗分布來刻畫，然後概率密度估計的重點就會轉換為求解$p_(x\mid z)$。為了估計這個概率，可以採用em演算法，就像前面深度學習（二）和（三）中提到的一樣，然而em演算法是要最大化elbo，e步要求找到乙個近似隱變數的後驗概率$p(z\mid x;\theta )$的分布$q(z)$，才能使得elbo最大；m步再固定我們上一步找到的$q(z)$，開始優化elbo中的引數$\theta$；更新完$\theta$後，固定$\theta$，再去找乙個新的近似隱變數的後驗概率$p(z\mid x;\theta )$的分布$q(z)$，這個步驟不斷迭代計算，直到穩定為止。
如果估計後驗分布的過程比較複雜，可以採用神經網路，因為神經網路可以近似任何乙個複雜的函式，所以可以用來建模複雜分布，變分自編碼器就是採用這種思想。
具體見深度學習（四）、（五）、（六）
大多取樣的想法就是先給隱變數$z$乙個先驗$p(z)$，然後再根據條件概率$p_(x\mid z)$來取樣$x$，吉布斯取樣就是這種想法，把在聯合概率上取樣轉換成了在條件概率上取樣。
還有一種取樣想法是生成對抗網路的思想，就是我先從乙個簡單分布取樣$z$，比如標準正態分佈，然後利用神經網路，把這個$z$輸入，構建乙個函式g，使得$g(z)$服從真實分布$p_(x)$，就可以避免密度估計的問題了。
機器學習筆記 概率生成模型
假設有兩類資料，每一類都有若干個樣本 概率生成模型認為每一類資料都服從某一種分布，如高斯分布 從兩類訓練資料中得到兩個高斯分布的密度函式，具體的是獲得均值和方差兩個引數 測試樣本輸入到其中乙個高斯分布函式，得到的概率值若大於0.5，則說明該樣本屬於該類，否則屬於另一類。演算法的核心在於獲取分布函式的...
深度學習與生成式模型
main pointsoutline 7.深度學習模型的求解方法 蒙特卡洛取樣 變分推斷 對抗網路 8.幾種經典生成式模型 dbn autoencoder 對抗網路 變分推斷網路 介紹。闡釋深度學習在生成式模型的應用。以高斯混合模型 gmm 樸素貝葉斯 na ve bayes 為代表的生成式模型採用...
深度學習baseline模型 深度學習模型訓練流程
工作中訓練了很多的深度學習模型，目前到了上公升到方 的角度來看了。日常工作中有的人可能已經在遵循方 做事，可能自己沒有注意，有的人可能沒有遵循方 在做事，雖然可能最後的結果差不多，但花費的時間和精力應該會差別很大，當然這是我自己的感受。我們不必完全按照方 來做，但基本流程跟方 應該一致。下面的具體步...