本文章純屬個人學習筆記。
我們得到一堆資料（xi,yi）,現在要用線性方程的形式去做回歸，線性方程結構為：y=f(x)+e,其中f(x)=w*x，w是我們要進行估計的引數向量，e是雜訊，且該雜訊服從均值為0高斯分布，即：e~n(0,sigema^2)。
假如說現在有乙個w（此w並不是最終的w），對於每乙個實際得到的資料我們都可以看成是由均值為w*xi,方差為sigema^2的乙個高斯模型生成的。但是在w不定的情況下，高斯模型有無數中可能，我們需要從中選擇乙個我們想要的，而選擇需要乙個準則，該準則就是：使得在該模型下生成我們獲得的資料的可能性最大。
問題來了，什麼叫可能性最大？怎樣來衡量？——>將每乙個資料產生的概率連乘起來（似然函式），將該值最為總的資料產生的可能性。很容易理解。
所以有一下計算：
從最終結果可以看出最大似然估計與最小二乘法解決線性回歸問題殊途同歸，可以將最小二乘看成是最大似然估計的乙個特殊情況
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
最大似然估計
利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值 例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結...
最大似然估計
最大似然估計 mle mle求解過程 mle maximum likelihood estimation 就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值的計算過程。直白來講，就是給定了一定的資料，假定知道資料是從某種分布中隨機抽取出來的，但是不知道這個分布具體的引數值，即 模型...