參考：
最大似然估計：現在已經拿到了很多個樣本（你的資料集中所有因變數），這些樣本值已經實現，最大似然估計就是去找到那個（組）引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對引數求導數，並令一階導數為零，就可以通過解方程（組），得到最大似然估計值。
最小二乘：找到乙個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值彙總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找乙個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱為最小二乘。「二乘」的英文為least square，其實英文的字面意思是「平方最小」。這時，將這個差的平方的和式對引數求導數，並取一階導數為零，就是olse。
最小二乘法與極大似然估計
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。極大似然估計 對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計...
極大似然估計和最小二乘法
目錄2.最小二乘法 可能我從來就沒真正的整明白過，只是會考試而已 搞清楚事情的來龍去脈不容易忘記 兩個常見的引數估計法 極大似然估計法和最小二乘法 ref知乎,模型已定，引數未知的條件下，根據實驗資料估計引數模型，等價於 利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值 舉個例子 乙...
機器學習總結 四 極大似然估計與最小二乘法
基本概念在總體分布型別已知的前提下所使用的一種引數估計方法，這不同於矩估計，矩估計是在總體分布型別未知的情況下進行的。理論依據概率大的事件在一次觀測中更容易出現 通俗的解釋似然估計法是在已知結果的情況下去求未知引數 的，對於已經發生的結果 一般指的是我們所抽取出來的樣本 既然他能夠發生，說明在未知引...