必要性：已知概率密度函式形式，用樣本來估計引數。
最大似然估計：
1.理論：現在已經拿到了很多個樣本，那麼我們要找乙個引數，使這些樣本發生的可能性最大。這些樣本已經產生了，所以找到的這個引數應當最有利於這些樣本的產生。
2.似然函式：實質就是概率函式，含有引數而樣本點已經帶入的函式。詳情見下面。
3.特殊的一點
在正態分佈中，均值/方差的最大似然估計是訓練樣本的均值/方差。
多變數正態分佈亦然
4.隨著樣本點足夠多，最大似然估計是漸進無偏的。注意漸進兩個字。
而且無偏的意思並不是說他的估計恰好會和真實值一樣，是說把引數當做分布，這個分布的均值和真實引數是一樣的
所以偏差只是乙個驗證估計方法是否好的乙個指標，這個方法在執行多次後的期望會使準確值。
但是高斯分布下，u未知的情況下對方差的估計是有偏差的。這是因為用到了均值的估計，可能會有偏差，
5.因為在均值未知的情況下，高斯分布的方差估計會有偏差。上面是感性的解釋、下面是理性的解釋
最大後驗概率估計
1.與最大似然估計中把引數當做未知引數不同，最大後驗概率把引數當做未知向量。
兩者公式上的差異在於最大後驗概率估計中有p（θ），見下圖
2.理論 p(引數|x)。理解：已知樣本x下那個引數發生的概率越高，就把這個引數當做估計值。
貝葉斯推理
最大熵推理
1.挑選出不確定性最大、最具有資訊量的概率密度函式
2.公式
貝葉斯引數估計
學習這部分內容約需要1.9小時 在貝葉斯框架中,我們將統計模型的引數視為隨機變數.模型由變數值的先驗分布以及決定引數如何影響觀測資料的證據模型來指定.當我們對觀測資料進行條件化時,我們得到引數的後驗分布.術語 貝葉斯引數估計 會讓我們誤以為對引數進行了估計,實際上我們通常可以完全跳過引數估計步驟.我...
頻率學派和貝葉斯學派 引數估計
頻率學派往往通過證據推導一件事情發生的概率，而貝葉斯學派還會同時考慮這個證據的可信度。從引數估計的角度來講，頻率學派認為引數是固定不變的，雖然我們不知道它，但是我們可以根據一組抽樣值去 它的結果，這就有了極大似然估計 mle 極大似然估計的思想就是，我已經抽樣產生了一組值 例如拋硬幣5次，得出結果 ...
機器學習中的MLE MAP 貝葉斯估計
mle 極大似然估計 map 最大後驗估計 以及貝葉斯估計 bayesian 仍有可能一知半解。對於乙個基礎模型，通常都可以從這三個角度去建模，比如對於邏輯回歸 logistics regression 來說 logistics regression map regularized logistic...