利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的引數值，是一種給定觀察資料來評估模型引數的方法。
設 $x_,x_,x_,...x_$ 是來自總體 $x$ 的簡單隨機樣本，$x_,x_,x_,...x_$ 為樣本的觀察值(樣本值)，$\theta_,\theta_,\theta_,...\theta_$
為待估引數。
現在我們希望得到乙個只關於引數 $\theta_$ 的乙個函式，這個函式能表徵該樣本結果發生的概率，從而我們通過研究這個函式，得到概率最大時，
引數 $\theta_$ 的取值，這個取值就
作為模型引數的估值。
似然估計的關鍵在於：出現某個值的概率不是有抽樣結果決定的，而是由總體決定的，比如抽取結果為 $5,5,1,1,1$，那能認為 $5$ 出現的概率是 $\frac$ 嗎？
如果是用樣本估計總體，那麼可以這麼認為，但似然估計要估計出總體的未知引數，所以出現 $5$ 的概率一開始就由總體決定了，是乙個帶引數的概率，
只是我們
用這組樣本來擬合指定的分布，同時隨機變數又得滿足概率規律，比如樣本出現的概率和為 $1$。
如何得到表徵樣本結果發生概率的函式呢？
1. 總體 $x$ 為離散型
$x$ 的概率分布為：
$$p\left \ \right \} = p_(\theta),k = 1,2,3,...$$
由於 $x_,x_,x_,...x_$ 和總體具有相同的分布，所以
$$p\left \ = x_ \right \} = p\left \ \right \}, i = 1,2,3,...,n$$
所以 $x_,x_,x_,...x_$ 取到一組觀測值 $x_,x_,x_,...x_$ 的概率為
$$p\left \ = x_, x_ = x_,...,x_ = x_\right \} = \prod_^p\left \ = x_ \right \}$$
這一概率隨 $\theta$
的取值而變化，它是$\theta$
的函式，記為 $l(\theta)$，該函式稱為樣本的似然函式，即
$$l(\theta) = \prod_^p\left \ = x_ \right \}$$
2. 總體 $x$ 為連續型
設 $x$ 的概率密度為 $f(x;\theta)$，連續型隨機變數沒有點概率，採用的是極限逼近的手段，這裡不再贅述，可得它取某乙個樣本點的概率近似為
$$p\left \ \right \} = f(x_;\theta)dx_, dx_ > 0$$
所以 $x_,x_,x_,...x_$ 取到一組觀測值 $x_,x_,x_,...x_$ 的概率近似為
$$p\left \ = x_, x_ = x_,...,x_ = x_\right \} = \prod_^p\left \ = x_ \right \} = \prod_^f(x_;\theta)dx_,dx_ > 0$$
由於 $dx_ > 0$，且非 $\theta$ 函式，所以似然函式為
$$l(\theta) = \prod_^f(x_;\theta)$$
求極大似然函式估計值的一般步驟：
1）根據總體的分布，寫出似然函式：$l(x_,x_,x_,...x_;\theta_,\theta_,\theta_,...\theta_)$。函式 $l$ 是關於 $\theta_$ 的多元函式。
2）如有必要，則對似然函式取對數，並整理。
3）多元函式求極值，當函式值最大時，即樣本發生概率最大時，所對應的 $\theta_$ 就是解。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...