極大似然估計：
1.若總體x為離散型，其概率分布列為
其中 為為未知引數。設 是取自總體的樣本容量為n的樣本，則 的聯合分布律為 。又設 的一組觀測值為 ，易知樣本 取到觀測值 的概率為
這一概率隨 的取值而變化，它是 的函式，稱 為樣本的似然函式。
2.若總體x為連續型，其概率密度函式為 ，其中 為未知引數。設 是取自總體的樣本容量為n的簡單樣本，則 的聯合概率密度函式為 。又設 的一組觀測值為 ，則隨機點 落在點 的鄰邊（邊長分別為 的n維立方體）內的概率近似地為 。
考慮函式
同樣， 稱為樣本的似然函式。
極大似然估計法原理就是固定樣本觀測值 ，挑選引數 使
這樣得到的 與樣本值有關， 稱為引數 的極大似然估計值，其相應的統計量 稱為 的極大似然估計量。極大似然估計簡記為mle或 。
問題是如何把引數 的極大似然估計 求出。更多場合是利用 是 的增函式，故與 在同一點處達到最大值，於是對似然函式取對數，利用微分學知識轉化為求解對數似然方程
解此方程並對解做進一步的判斷。但由最值原理，如果最值存在，此方程組求得的駐點即為所求的最值點，就可以很到引數的極大似然估計。極大似然估計法一般屬於這種情況，所以可以直接按上述步驟求極大似然估計
極大似然估計就是經驗風險最小化的例子。
機器學習之極大似然估計
極大似然估計是在總體型別已知的條件下使用的一種引數估計方法。首先是德國數學家高斯在1821年提出的，然而這個方法常歸功於英國統計學家費歇。極大似然法的基本思想通過乙個例子說明 乙個獵人和乙個二逼外出打獵，乙隻野兔從前方竄過，一聲槍響，野兔應聲倒下。如果要你推測，是誰打中的？你會如何想？選擇乙個引數使...
機器學習（十八）極大似然估計
極大似然估計是在總體型別已知條件下使用的一種引數估計方法 它首先是由德國數學家高斯在1821年提出的,然而，這個方法常歸功於英國統計學家費希爾.費希爾在1922年重新發現了這一方法，並首先研究了這種方法的一些性質 極大似然估計的思想是 選取這樣的 使得當它作為未知引數 的估計時，觀察結果出現的可能性...
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...