極大似然估計是個經典的老話題了，大二的時候學起來覺得這是概率論裡最容易理解的一章：不就列個算式求個導取個極值嗎？但如今，再次回首，發現自己的理論基礎竟如此薄弱。
第四次看西瓜書的時候，在第七章中偶然看見了極大似然估計。先是一番回憶，想起了極大似然估計得到的方差\(\hat^2_\)是有偏的，即：
\[ \begin
e(\hat^2_)=e(\frac\sum_(x-\hat_c)(x-\hat_c)^\mathrm) = \frac\sigma^2
\end
\]很顯然，極大似然估計得到的方差是真正方差的有偏估計，它低估了方差的值。在prml中提到，這也是曲線擬合問題（rss損失函式）中遇到的過擬合問題的核心。（我的理解是由於方差的低估，更貼近於資料集中的樣本了（曲線更扭曲/複雜了），從而過擬合）。上面的公式在各個**的解釋數不勝數了，不再贅述。
ok，現在捋順一下思路：我們用極大似然來計算方差 -> 但是得到的方差是有偏的 -> 我們又知道偏離的程度 (\(\frac\)) 。
那麼難道不會很自然地產生乙個問題嗎？：為什麼不直接用：
\[\frac\hat^2_=\frac\sum_(x-\hat_c)(x-\hat_c)^\mathrm
\]，即方差的無偏估計量，來進行估計捏？？？這個統計量不是無偏並且一致的嗎？？
這個疑惑困擾了我乙個下午，但是搜尋的結果全是有偏的證明，而沒有人提到這個問題。
直到我看到了這篇：properties of maximum likelihood estimation (mle) 普渡大學的講義。終於弄明白了。
在我們的大學概率論中，只提到了mle的漸近一致性（也許這個也沒提到，我們只是會算而已）。而在這個lecture中，強調了收斂的效率（速度）。當估計量的方差等於 cram ́er–rao lower bound (crlb) 時，其被稱為高效估計量 (efficient estimator)，大致就是收斂得更快。crlb的具體計算如下：
再具體些，mle中有偏的那個方差估計量\(\hat^2_\)是滿足 crlb的：
!!!這裡我就不寫推導了，因為mle是有偏估計，計算比較複雜，感興趣的童鞋自己可以算一下，總之是等於crlb bound的。!!!首先，很顯然的，我們的mvue估計量 \(\hat^2_}=\frac\sum_(x-\hat_c)(x-\hat_c)^\mathrm\) 是無偏的（其中 \(|d_c|=n\) 即樣本數量。關於為什麼除以 \(n-1\) 才是方差的無偏估計量的證明已經太多太多了，這裡我就不證了），那麼只要用crlb的簡化形式即可 (式 (3))：
我們先來計算fisher資訊量 \(i(\sigma^2)\)：（這裡我們估計的引數是 \(\sigma^2\) ，這個二階導我是用mathematica算的）
\[ \begin
\frac}=i(\sigma^2)=-\mathbb\left[\frac\log f(y;\sigma^2)\right]=\frac=\frac
\end
\]其中，\(f\) 為 \(y\) (包含 n 個高斯分布樣本的樣本集) 的分布函式：
\[ \begin
f(y;\sigma^2)=\frac}\exp\left\_(y_k-\theta)^2}\right\}
\end
\]接著，我們還需要計算 \(\mathrm\left(\hat^2_}(y)\right)\)：
\[ \begin
\mathrm\left(\hat^2_}(y)\right)=\frac
\end
\]這個計算涉及到高斯分布方差的方差，可以參考這個解法。
因此得證，mvue 估計量 \(\hat^2_}=\frac\sum_(x-\hat_c)(x-\hat_c)^\mathrm\) 並不滿足 crlb。
所以，為了收斂得更快（用盡量少的樣本估計得更準），mle估計量自然更優秀。
初中數學知識點總結 初中數學知識點總結
初中數學知識點總結 第一章 有理數 一 知識框架 二.知識概念 1.有理數 1 凡能寫成 形式的數，都是有理數.正整數 0 負整數統稱整數 正分數 負分數統稱分數 整數和分數統稱有理數.注意 0即不是正數，也不是負數 a不一定是負數，a也不一定是正數 p不是有理數 2 有理數的分類 2.數軸 數軸是...
初中數學知識點總結 初中數學函式知識點總結
函式一直是數學學科的重點內容。初中學習的三種函式是學習函式的基礎，這一部分的知識點不只在初中起著重要的作用，也為以後學習高中及大學的內容起著鋪墊作用。所以，學好這一部分內容至關重要。下面，簡單的將初中數學函式知識點進行簡單的梳理。1.一次函式 1 定義 形如y kx b k b是常數，且k 0 的函...
MEM 綜合能力考試 數學知識點
公倍數 公倍數 common multiple 是指在兩個或兩個以上的自然數中，如果它們有相同的倍數，這些倍數就是它們的公倍數。公倍數中最小的，就稱為這些整數的最小公倍數 lowest common multiple 45 3 3 5 30 2 3 5 30與45共有的質因數是1個3和1個5,而30...