softmax,gumbel部分參考了伯努利分布只有0，1狀態，例如投硬幣，投一次正面朝上的概率服從伯努利分布。多次做伯努利試驗就稱為n重伯努利試驗。伯努利分布是二項分布在n=1時的特例
投擲n次硬幣，正面朝上的次數為k概率服從二項分布
多項分布是二項分布的特例
舉例說明：在一座城市中，若將人口按照年齡分成n組，這n組人在總人口中各佔的比例分別為p1，p2，…, pn,今從城市中隨機抽n個人，用 (x1，x2，…，xn) 分別表示這n個人中每個年齡組的人數，則x=(x1，x2，…，xn)服從多項分布。
例如乙個6個數的骰子，每個的概率(p1,p2,p3,p4,p5,p6),投擲n次後，出現1=n1，2=n2，3=n3，4=n4，5=n5，6=n6點的次數的概率服從多項分布，對於二項分布是可以把骰子換成硬幣
假設有n個位置，每個位置的分布都是服從
π π
的伯努利分布，那麼從這n個位置中取樣的話，最後取樣的點數會是0~n，第k個位置被選中的概率為p(
假設有n個位置，每個位置的分布都是服從πk
π
k的伯努利分布，那麼從這n個位置中取樣的話，最後取樣的點數會是0~n，第k個位置被選中的概率為p(
ik=1
)=πk
p (i
k=1)
=πk,每個位置的概率分布一定是不同的
假設有n個位置，每個位置的分布都是多項分布(p1,p2,…,pm)，那麼從這n個位置中取樣的話，每乙個位置選出來的是1~m中的其中乙個
主要參考這篇部落格
對於泊松取樣，對於n每個位置的每乙個位置按照概率取樣都可以用softmax取樣，當然也可以用gumbel max取樣。二者的介紹在那篇部落格裡已經有了，gumbel max取樣其實等同於softmax取樣，將那篇部落格的**整理了一下，非常感謝原作者，如下
只要隨機數種子設定的一樣，每次出來的結果差不多都是一樣的， softmax取樣和gumbel取樣是等價的。為什麼等價作者也給出了鏈結
但是很明顯上面的都是不可導的，首先softmax取樣採用choice函式不可導，gumbel max採用argmax也是不可導的， 將gumbel max的argmax可以用softmax來逼近，從而可導。
def
generalized_softmax
(logits, temperature=1):
logits = logits / temperature
return softmax(logits)
vae中為了讓整個網路可導，他是怎麼做的呢？
產生分布服從(μ
,σ) (μ,
σ)的概率分布的取樣是不可導的過程，但是如果用n(0,1)產生隨機數
β β
,那麼z=
z0∗σ
+μz =z
0∗σ+
μ,z0
∼n(0
,1) z0∼
n(0,
1),這個時候z是可導的，這就是reparameterition trick。
關於伯努利數
主要是寫這個部落格用來記錄自然數冪和與伯努利數的關係 伯努利數定義如下 b 0 1 sum nb ic i 0 於是我們有了它的遞推式 b n frac sum b ic i 有乙個經常用的東西，用來求自然數冪和 s m n sum i m s m n frac sum c b i n 1 上面的式...
伯努利數學習筆記
定義伯努利數列 b n 滿足 b 0 1,sum nb i 0 n 0 可以發現定義式裡面包含了 b n 這一項，於是把 b n 提出來 b n sum b i n 1 b n sum b i b n frac sum b i 直接用定義式求是 o n 2 的複雜度 把定義式的迴圈上界減一，得 su...
學習筆記 伯努利數
b n n 0 frac 1 sum binom i b i 同時有 hat x sum b i frac frac x 所以可以使用多項式求逆求出伯努利數。設自然數冪和函式 s k n sum i k 那麼有 s k n frac 1 sum k binomi b i n 設 hat n x su...