起因：我發現lr在知道樣本概率分布後，要估計w的值，用到了極大似然估計方法，得到了所謂的損失函式。
最大似然估計方法，是基於總體分布已知情況下的一種引數估計方法。
其基於極大似然估計原理：概率大的事件易發生；在一次觀測中發生了的事件，其概率應該大。
例子：你和獵人都去打獵，槍響了，兔子倒下了，你覺得這個兔子是被誰打死的？
你會覺得是獵人，因為他更專業，打中的概率大，這裡就是極大似然的思想。
對於離散變數，n個樣本的聯合概率為：
這裡的l就是似然函式。
當我們知道了x1,...,xn，我們就可以選取合適的引數theta，使得l最大，就是樣本發生的概率最大。這時的theta就是引數的極大似然估計值。因為它比任何其他theta都要好。
這就變成了最優化問題。我們做個簡單變化，兩邊取對數：
參考：
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
最大似然估計
利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值 例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結...
最大似然估計
最大似然估計 mle mle求解過程 mle maximum likelihood estimation 就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值的計算過程。直白來講，就是給定了一定的資料，假定知道資料是從某種分布中隨機抽取出來的，但是不知道這個分布具體的引數值，即 模型...