估計：即是通過已知樣本求出未知的整體引數；
設有自然數k，常數a，隨機變數x，則e(
x−a)
k 稱之為隨機變數x基於常數a的k階矩；當常數a = 0時，則稱之為原點矩；
即通過上述k階矩的方法估計整體的範圍。
設總體x服從區間[a,b]的均均分布，a、b未知，x1
、x2.
..xn
是x的樣本值，求a，b;
上述中，欲求兩個未知引數，則至少需有兩個方程，我們採用一階原點矩與二階原點矩來估計a與b; e(
x)=a
+b2=
x1+x
2+..
.+xn
n e(
x2)=
d(x)
+[e(
x)]2
=(b−
a)212
+(b+
a)24
=x21+x2
2+..
.+x2
nn因為x1
、x2.
..xn
為已知引數，則聯立上述兩個公式，可求得a與b;
若總體x的分布律p=p(x;
θ ),當樣本值為x1
、x2.
..xn
時的概率為 l(
θ)=∏
i=1n
p(xi
,θ)
最大似然估計，即是求當l(
θ)為最大值為，
θ 的值;
最大似然估計的求解步聚：
1、求出分布率公式p(x;
θ )
2、求出l(
θ)=∏
ni=1
p(xi
,θ)
3、求出dl
n(l(
θ))d
θ=0
注：第3步求解的目的是l(
θ)的最大值點在極值點上，因需l(
θ)的導數為0的點；又因為l(
θ)直接求極值較複雜，而ln
(l(θ
))不會影響函式的單調性，因此用ln
(l(θ
))來求θ
設x~b(1,p),x1
、x2.
..xn
是x的樣本值,求引數p的最大似然估計；
1、可知p(x=x) = px
(1−p
)1−x
2、求l(
θ) l
(θ)=
∏i=1
npxi
∗(1−
p)1−
xi3、求dl
n(l(
θ))d
θ=0
通過該方法則可求出p值；
矩估計和最大似然估計
引數估計 引數估計 是根據從總體中抽取的樣本估計總體分布中包含的未知引數的方法。它是統計推斷的一種基本形式，是數理統計學的乙個重要分支，分為點估計和區間估計兩部分。點估計 依據樣本估計總體分布中所含的未知引數或未知引數的函式。區間估計 置信區間的估計 依據抽取的樣本，根據一定的正確度與精確度的要求，...
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
最大似然估計 最大似然估計與最大後驗估計聯絡
引數估計的目的是決定變數之間相互關聯的量化關係。常用的引數估計方法包括最大似然估計法 最大後驗估計 期望最大化法 em 和貝葉斯估計方法。在觀測資料前，我們將 的已知知識表示成先驗概率分布，p 我們通常稱為先驗。一般而言，在機器學習實踐的時候，會選擇乙個相當寬泛的先驗分布 這個先驗分布通常是高熵的分...