舉個很簡單的實際例子，我們國家每隔一段時間需要進行人口普查，但是因為我國國土面積太大，人口太多，不太可能真正挨個人口進行統計，所以可以統計部分人口樣本，然後根據這部分樣本的引數去描述人口的總體分布情況。那為什麼我們可以這麼幹？因為我們對整體分布的形式是知曉的，比如我們知道全國人民的身高體重服從正態分佈，這樣我們只需要取得部分樣本的資料，然後估計正態分佈的均值與方差即可。否則，我們就需要借助非引數的方法了。
再用一句簡單的話來總結引數估計：模型已定，引數未知！
核心思想：找到引數θ的乙個估計值，使得當前樣本出現的可能性最大。誰大像誰！
步驟：1.寫似然函式
2.一般對似然函式取對數，並將對數似然函式整理
3.對數似然函式求導，令導數為0，求得似然方程
4.根據似然方程求解，得到的引數即為所求估計值
例子見參考鏈結一
最大似然估計要估計的引數θ被當作是固定形式的乙個未知變數，然後我們結合真實資料通過最大化似然函式來求解這個固定形式的未知變數！
貝葉斯估計則是將引數視為是有某種已知先驗分布的隨機變數，意思便是這個引數他不是乙個固定的未知數，而是符合一定先驗分布如：隨機變數θ符合正態分佈等！那麼在貝葉斯估計中除了類條件概率密度p(x|w)符合一定的先驗分布，引數θ也符合一定的先驗分布。我們通過貝葉斯規則將引數的先驗分布轉化成後驗分布進行求解！
同時在貝葉斯模型使用過程中，貝葉斯估計用的是後驗概率，而最大似然估計直接使用的是類條件概率密度。
為什麼要有引數估計(parameter estimation)
最大似然估計與貝葉斯估計的區別
貝葉斯估計和極大似然估計到底有何區別
貝葉斯估計與最大似然估計
極大似然估計 極大似然估計的基本想法是 我們所看到的，就是最可能發生的。所以通過最大化實驗資料發生的概率 p x 其中引數 是未知的 取極值時對應的 即為最大似然估計。貝葉斯估計p x p x p p x p 表示乙個事件發生的 概率，例如扔乙個硬幣的結果正面朝上的概率，這個 概率 是乙個隨機變數，...
bayes 貝葉斯估計與最大似然估計
參考 設資料為d，變數為x，決定概率分布的引數為 似然函式 p d 後驗概率分布 p d p d p constant 1.用mle方法只能估計出使得似然函式最大時的 值，而基於bayes的後驗概率法則可以求出 的後驗概率分布。若需要求得最優的 則可以用map來獲得。2.mle求出最優的引數 後帶回...
極大似然估計與貝葉斯估計
貝葉斯估計與極大似然估計在思想上有很大的不同，代表著統計學中貝葉斯學派和頻率學派對統計的不同認識。極大似然估計是頻率學派觀點，它的觀點可以這樣理解 待估計引數 theta 是客觀存在的，只是未知而已，已知觀測樣本 d dd，求得 hat 使得在 theta hat 時，產生觀測樣本資料 d dd 的...