一、指數族分布指的是概率密度函式都能夠表述成以下形式的概率分布。
其中fai(x)是充分統計量，a(ita)是對數配分函式。ita是規範化引數。【配分函式其實就是歸一化因子的概念，為了使概率滿足概率總和為1的約束】
指數族分布包括gauss分布，bernoulli分布（0，1分布）,beta分布，gamma分布，二項分布（多項式分布），dirichlet分布等。這些分布的概率密度函式都可以表示成上圖中式子的形式。
對數配分函式的推導
舉例將高斯分布的概率密度函式用指數族分布的形式表達如下：
三、指數族分布有三個重要性質，分別是充分統計量、共軛、最大熵。
①關於充分統計量：（sufficient statistic）的理解：比如高斯分布中的就是一組充分統計量，通過我們就能得到這一組資料的大部分資訊。（待確定）
不僅是，也可以是...，【查詢相關統計概念】
充分統計量「充分」指的就是引數組包含的原始資料的資訊足夠多，可以用於壓縮資料。
「統計量」指的就是數學意義上一組資料的統計量，比如均值，方差...。
②關於共軛：是通過似然和先驗的共軛關係，將先驗的分布與後驗的分布聯絡起來。如果似然和先驗共軛，那麼後驗的分布與先驗的分布是同一種分布。
③關於最大熵：【待定：對未知引數的估計，往最隨機的方向假定。】
四、指數族分布中a(ita)和fai(x)的關係、a'(ita)和fai(x)的關係
①：a'(ita)和fai(x)的關係
式①：配分函式z（也叫作歸一化因子）
a'(ita)和fai(x)的關係： a'(ita)=e(fai(x))，條件是p(x|ita)。
②由極大似然的想法推出 g_mle=1/n(sum(fai(xi)))。
即從樣本的充分統計量進行求和平均,就能得到引數向量值 g_mle。
可以應用於廣義線性模型(回歸/分類)、概率圖模型（rbm）、和變分推斷（簡便運算）中。
參考：1.站up主：shuhuai008
指數族分布
寫在前面 本文只是對暫時學到的指數族分布的理論知識進行總結，至於指數族分布在實際機器學習中的具體應用，等後續學習到了再進行補充，也歡迎有經驗的大佬賜教 指數族分布其實是一類分布，包括高斯分布 伯努利分布 二項分布 泊松分布 beta分布 gamma分布 dirichlet分布 但它們都能寫成統一的形...
指數分布族
從標題上看，是 指數分布族 exponential family 不是 指數分布 exponential distribution 這是兩個不同的概念，不要弄混了。指數分布族在上世紀30年代中期被提出，在概率論和統計學中，它是一些有著特殊形式的概率分布的集合，包括許多常用的分布，如正態分佈 指數分布...
PRML 2 4 指數族分布
p x eta h x g eta exp b站白板推導也有乙個指數族分布標準形式，兩者是等價的 p x eta h x exp 這裡的u x phi x g eta frac eta t是乙個向量,自然的u x phi x 也是乙個向量函式,a eta 是 log partition functi...