對於單維高斯分布而言，其概率密度函式可以表示成
\[p(x)=\frac\sigma}e^} \]
其中\(u\)表示均值，\(\sigma^2\)表示方差。
對於多維高斯分布而言，其概率密度函式可以表示成
\[p(x)=\frac\lvert \sigma\rvert^}e^(x-u)^t\sigma^(x-u)} \]
其中p表示維度，首先介紹如何根據極大似然估計求解高斯分布中的引數\(\lambda=(u,\sigma^2)\)。這裡以一維高斯分布為例。
首先定義似然函式
\[\ell (\lambda)=logp(x|\lambda)=log\pi_^p(x_\lvert\lambda)=\sum_^log p(x_i\lvert\lambda)\\=\sum_^(log(\frac})+log}-\frac) \]
讓\(\ell(\lambda)\)分別對\(u\)和\(\sigma\)求偏導數，然後令其等於0，可以得到
\[\frac=\sum_^(-\frac*2*(x_i-u)*(-1))=0 \]
可以得到\(u\)的值為
\[u=\frac\sum_^x_ \]
同樣的，可以得到\(\ell(\lambda)\)對\(\sigma\)的偏導數為
\[\frac}}=\sum_^(-\frac-(x_i-u)^2*\frac*(-2)*(\sigma)^3)=0 \]
可以得到\(\sigma^2\)的值為
\[\sigma^2=\frac\sum_^(x_i-u)^2 \]
至此已經完成了單維高斯分布中的引數估計。
機器學習之引數估計
引數估計 parameter estimate 就是通過一系列演算法，來求出模型的最優引數。在各個機器學習深度學習的框架裡，都變成了optimizer的活了。其實這個名字很奇怪，但是在比較早的機器學習 裡都是這麼叫的，我們重點來關注下裡面涉及的一些演算法。這裡主要關注的是 二乘是平方的意思，感覺最小...
最大似然估計 高斯分布
前言 介紹了最簡單的最大似然估計 距離實現 樸素貝葉斯 還有一些距離。在這篇文章，我想分享一下，我所理解的 最大似然估計 高斯分布 這裡都是玩具資料，為了方便理解才列出 01 2345 6789 101112x 1234 4.24.4 4.64.856 78y0 0001 1110 000假設 x ...
機器學習 高斯混合模型引數估計的EM演算法
看理論之前先來 舉個例子 對於乙個未知引數的模型，我們觀測他的輸出，得到下圖這樣的直方圖 我們先假設它是由兩個高斯分布混合疊加而成的，那麼我們該怎麼去得到這兩個高斯分布的引數呢？em演算法！假設觀測資料 y1 y2，yn是由高斯混合模型生成的。p y k 1k k y k 其中，表示的是高斯模型的引...