極大似然估計maximum likelihood estimation，簡寫就是mle，其實在很多機器學習理論中都存在哈。
首先介紹下極大似然估計的歷史：
2023年，高斯在處理正態分佈的時候第一次提出了極大似然估計
2023年，美國統計學家費希爾證明了其相關特性並得到了廣泛的應用，因此將極大似然估計的發現歸功於費希爾。
極大似然估計的模型：
離散型：
離散型的含義就是統計量等於觀測值的概率直接乘起來就可以了。
連續型：
連續型就是概率密度函式直接乘起來就可以了。
重點來了，似然函式的直觀意義是什麼？
似然函式的直觀意義是刻畫引數與真實資料的匹配程度。
什麼叫匹配程度呢？就是你現在不知道一件事的發生概率，比如你去食堂找阿姨打飯，阿姨手抖不抖你不知道，但是有一段時間你親自去食堂打飯了，打了10次飯，其中阿姨手抖了一次，那麼你是不是就能得出結論說這個食堂阿姨打飯手抖的可能性並不大。也就是你看見了這個事實，你需要用乙個理論去解釋這個現象，這就是極大似然估計。
現在看乙個例子：
有乙個二項分布，如下：
上面的意思就是樣本空間只可能取1或者2，取1的概率是，取2的概率是1-
我們現在的感覺就是這樣子，1發生的概率是0.3,2發生的概率是0.7，那麼數學家就想，我們能不能有個辦法來描述這個過程，就是用一套理論去解釋這個過程？這個過程就是極大似然估計，也就是刻畫引數與真實資料的匹配程度。
現在重新來看，我們一共抽取了n次，其中1被抽中n1次，2被抽中n2次，n1+n2=n。那麼上面的就是n1/n。由上面的離散型別的似然函式我們有
有了這個似然函式後，我們要去算這個似然函式的最大值。疑問就在這個地方，為什麼我們要把這個似然函式最大呢？
原因在於，當我們取1和2的時候分別是n1次和n2次，這是已經發生的事實了，我們要讓這個事實發生的概率最大，那麼我們就是要去求這個似然函式的最大值。再解釋下，比如你不知道今天下不下雨，但是今天下雨了，你是不是就是要解釋今天下雨的概率是1。同樣的，在上面的那個取1和2的時候，也是類似的，只不過是讓取1的可能性為100%是不可能的，因為發生的事實是n1次1和n2次2，所以就要去解釋這個事實，就是最大化這個似然函式。
接著就是考研的時候的知識了，我們來求這個函式的最大值。
解出來就是
這是完全符合我們上面的直覺的。
好了，這就是極大似然估計的解釋啦
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...