大似然估計與最小二乘估計的區別
標籤（空格分隔）： 概率論與數理統計
最小二乘估計
對於最小二乘估計來說，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值與觀測值之差的平方和最小。
設q表示平方誤差，yiyi表示估計值，y^iy^i表示觀測值，即q=∑ni=1(yi−y^i)2q=∑i=1n(yi−y^i)2
最大似然估計
對於最大似然估計來說，最合理的引數估計量應該使得從模型中抽取該n組樣本的觀測值的概率最大，也就是概率分布函式或者似然函式最大。
顯然，最大似然估計需要已知這個概率分布函式，一般假設其滿足正態分佈函式的特性，在這種情況下，最大似然估計與最小二乘估計是等價的，也就是估計的結果是相同的。
最大似然估計原理：
1. 當給定樣本x1,x2,...,xnx1,x2,...,xn時，定義似然函式為l(θ)=f(x1,x2,...,xn;θ)l(θ)=f(x1,x2,...,xn;θ);
2. l(θ)l(θ)看做是θθ的函式，最大似然估計就是用使l(θ)l(θ)達到最大值的θ^θ^去估計θθ，這時稱θ^θ^為θθ的最大似然估計;
mle的步驟：
1. 由總體分布匯出樣本的聯合概率函式（或聯合密度）；
2. 把樣本聯合概率函式的自變數看成是已知常數，而把θθ看做是自變數，得到似然函式l(θ)l(θ);
3. 求似然函式的最大值（常常取對數，然後求駐點）；
4. 用樣本值帶入得到引數的最大似然估計。
例題設乙個有偏的硬幣，拋了100次，出現1次人頭，99次字。問用最大似然估計（ml）和最小均方誤差（lse）估計出現人頭的概率哪個大？
lse設使用lse估計，出現人頭的概率為θθ, 則出現字的概率為1−θ1−θ。
已知觀測量為：（觀測到的）出現人頭的概率為11001100, （觀測到的）出現字的概率為9910099100,則由最小二乘估計：
q(θ)=argminθ∑1001(θ−θ^)2 =argminθ(1100−θ)2+[99100−(1−θ)]2∗99q(θ)=argminθ∑1100(θ−θ^)2 =argminθ(1100−θ)2+[99100−(1−θ)]2∗99
令∂q(θ)∂θ=0∂q(θ)∂θ=0,解得θ=1100θ=1100;
ml設使用ml估計，所以x服從伯努利分布，x∼b(朝上,θ)x∼b(朝上,θ),
則概率密度函式為：
p(x|θ)={θ,1−θ,if x 人頭朝上if x 字朝上
p(x|θ)={θ,if x 人頭朝上1−θ,if x 字朝上
則連續100次試驗的似然函式為：
p(x1,x2,..x100|θ)=c1100θ1∗(1−θ)99=100∗θ1∗(1−θ)99p(x1,x2,..x100|θ)=c1001θ1∗(1−θ)99=100∗θ1∗(1−θ)99
最大化似然函式，則θθ至少為駐點，對似然函式取對數並求偏導：
lnp(x1,x2,..x100|θ)=ln100+lnθ+99ln(1−θ)lnp(x1,x2,..x100|θ)=ln100+lnθ+99ln(1−θ)
對θθ求偏導為0，得到：
∂lnp(x1,x2,..x100|θ)∂θ=1θ−991−θ=0∂lnp(x1,x2,..x100|θ)∂θ=1θ−991−θ=0, 解得θ=1100.θ=1100.
兩者雖然得到的估計值是一樣的，但是原理完全不同，要對他們的推導過程非常清楚。
---------------------
最大似然估計和最小二乘法
說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率...
最小二乘法與極大似然估計
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。極大似然估計 對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計...
極大似然估計與最小二乘法
參考 最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線...