\(p(x|\eta) = h(x)g(\eta)exp\\)
\(b站白板推導也有乙個指數族分布標準形式，兩者是等價的\)
\(p(x|\eta) = h(x)exp\\)
\(這裡的u(x)=\phi(x),g(\eta)=\frac}\)
\(\eta^t是乙個向量,自然的u(x)=\phi(x)也是乙個向量函式,a(\eta)是\)log partition function,加上對數的配分函式和歸一化相關
prml書上還展示了乙個伯努利分布轉為指數族分布的例子，這裡介紹正態分佈的轉化例子，b站白板推導也有這部分
\(p(x|\mu,\sigma^2)=\frac}exp\(x-\mu)^2\}\)
轉化為指數族分布形式
\(\eta=\begin
\eta_1\\
\eta_2\\
\end =\begin
\frac\\
}\\\end\)
\(u(x)=\phi(x)=\begin
x \\
x^2\end\)
\(g(\eta)=(-2\eta_2)^}exp(\frac)\)
指數族分布的標準形式
\(p(x|\eta) = h(x)g(\eta)exp\\)
因為是pdf函式，所有積分=1
\(\int_x p(x|\eta) = \int_x h(x)g(\eta)exp\dx =g(\eta)\int_x h(x)exp\dx =1\)
式子\(g(\eta)\int_x h(x)exp\dx\) 對\(\eta\)求導=0 求最大\(\eta\),\(\color\)
\(\nabla g(\eta)\int h(x)exp\dx + g(\eta)\int h(x)exp\ \mu(x) dx=0\)
\(在代入公式 g(\eta)\int_x h(x)exp\dx =1\)
\(得到-\frac}\nabla g(\eta) =g(\eta)\int h(x)exp\ \mu(x) dx =\mathbb[u(x)]\)
\(最後有-\nabla ln g(\eta) =\mathbb[u(x)]\)
\(也就是說有了充分統計了u(x)的均值就能得到指數族分布引數\eta的最優解\)
這是b站的推導
二階導是方差，方差》0，所有a是個凸函式
\(上面是最優\eta的推導，如果給定了一組資料x=\,這時候求\eta的最優解就是求\eta的最大似然解,雖然兩個結論非常近似，但是推導過程不一樣,乙個是直接求導，得到的是\eta 和 u(x)之間的關係，乙個是通過似然函式(所有樣本的累乘)，再求導，得到最大似然解\eta\)
\(下面是最大似然估計值\eta_的解析式,注意這裡的\eta_已經是個實實在在存在的乙個數了，上面\eta最優解還是乙個變數\)
b站對最大似然函式的推導
關於共軛先驗的知識本部落格其他章節已經詳述，這裡不再重複了
共軛先驗的優點是先驗和後驗是同乙個分布(對於某個統計量而言)，通過假設乙個和後驗一樣的先驗可以計算方便，但是這個假設有點強
最後結論，在最大熵模型下，使得熵最大的分布是指數族分布，剛一看有點驚訝，但其實prml書中已經有了相關說明,在p43，公式1.109下面
最大化微分熵的分布是高斯分布
廣義線性模型
--線性組合 \(w^tx\)
--link function這是啟用函式的反函式
--指數族分布:\(y|x \sim 指數族分布,比如線性回歸：雜訊 y|x \sim n,分類 y|x \sim 伯努利分布\)
概率圖模型
--無向圖:rbm
變分推斷
--如果是指數族分布，可以簡化變分推斷
2 2 2 指數加權平均
下面介紹一下比梯度下降更快的演算法，不過在這之前，你要了解指數加全平均。如1和2所示，指數加權實際上就是設定乙個權值。就像下圖所示 來計算是平均的多少天。如下圖所示 我們要算第100天的平均溫度可以寫成圖中下面0.9的指數形式。由上圖是每天的實際溫度，下面是0.1通過指數衰減過後的函式值。對於v 1...
fafu 1252 指數冪序列
view code fafu 1252 指數冪序列 這題題意很清楚，3的正整數指數冪序列1,3,9,27,81,則第 i 小的組合分別為,若第i 小的組合 的最大乙個數字 n 則前面所有數和來的大，這個可以 自己推看看 我沒推出來,不過自己列一些組合出來,再yy下,應該是這樣的 因此可用2 進製數做...
hdu 2065 指數型母函式
題目 醫學界發現的新病毒因其蔓延速度和internet上傳播的 紅色病毒 不相上下,被稱為 紅色病毒 經研究發現,該病毒及其變種的dna的一條單鏈中,胞嘧啶,腺嘧啶均是成對出現的。現在有一長度為n的字串,滿足一下條件 1 字串僅由a,b,c,d四個字母組成 2 a出現偶數次 也可以不出現 3 c出現...