首先理解概率和似然概率，
概率：指給定引數之後，**即將發生的事件的可能性；
似然概率：已經發生了某些事件，反推最優的引數；
最大似然概率：在已知觀測資料的前提之下，找到使得似然概率最大的引數值。
mle的步驟：
（1） 由總體分布到處樣本的聯合概率函式（分布資訊）
（2） 將引數 看作是自變數，得到似然函式
（3） 求似然函式的最大值對應的引數
（4） 將樣本值代入得到引數的最大似然估計
似然函式的引出
假設目標變數y與輸入x之間滿足以下關係：y(i
)=θt
x(i)
+ϵ(i
)y^ = ^t x^ + \epsilon ^
y(i)=θ
tx(i
)+ϵ(
i)假設 ϵ
\ \epsilon
ϵ 是誤差項，並服從正態分佈 n(0
,σ2)
\ n(0,^2)
n(0,σ2
)誤差項的概率函式可以記為：
p (ϵ
(i))
=12π
σexp
(−(ϵ
(i))
22σ2
)p(\epsilon^) = \frac\sigma} exp(-\frac)^2}^2})
p(ϵ(i)
)=2π
σ1
exp(
−2σ2
(ϵ(i
))2
)似然函式表示為： l(θ
)=∏i
=1mp
(y(i
)∣x(
i);θ
)→lo
g∏i=
1mp(
y(i)
∣x(i
);θ)
⇒mlo
g12π
σ−12
σ2∑i
=1m(
y(i)
−θtx
(i))
2l(\theta) = \prod_^m p(y^|x^;\theta) \rightarrow log \prod_^m p(y^|x^;\theta) \\ \rightarrow mlog \frac\sigma} - \frac^2}\sum_^m(y^ - ^tx^)^2
l(θ)=i
=1∏m
p(y
(i)∣
x(i)
;θ)→
logi
=1∏m
p(y
(i)∣
x(i)
;θ)⇒
mlog
2πσ
1−2
σ21
i=1∑
m(y
(i)−
θtx(
i))2
最小二乘估計的實質就是找到乙個估計值，使得實際值與估計值之間的距離越小越好，並且是用實際值與估計值之間差值的平方來衡量這種距離：j(θ
)=12
∑i=1
m(hθ
(x(i
))−y
(i))
2j(\theta) = \frac \sum_^m (h_(x^) - y^)^2
j(θ)=2
1i=
1∑m
(hθ
(x(i
))−y
(i))
2只是存在數學形式上的聯絡。
當最大似然估計當中的誤差項剛好滿足正態分佈的時候，
在數學形式上是等價的，但是在物理層面，兩者並沒有什麼直接的聯絡。
最小二乘估計與最大似然估計
看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！對於最小二乘估計，最合理的引數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中q表示誤差，yi表示估計值，yi 表示觀測值。對於最大似然法，最合理的引數估計量...
最大似然估計與最小二乘的理解
最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率為p,那得出8次...
最大似然估計和最小二乘法
說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率...