最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。
極大似然估計：
對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。
在最大似然法中，通過選擇引數，使已知資料在某種意義下最有可能出現，而某種意義通常指似然函式最大，而似然函式又往往指資料的概率分布函式。與最小二乘法不同的是，最大似然法需要已知這個概率分布函式，這在時間中是很困難的。一般假設其滿足正態分佈函式的特性，在這種情況下，最大似然估計和最小二乘估計相同。
二者的舉例說明參考知乎：
極大似然估計與最小二乘法
參考 最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線...
極大似然估計和最小二乘法
目錄2.最小二乘法 可能我從來就沒真正的整明白過，只是會考試而已 搞清楚事情的來龍去脈不容易忘記 兩個常見的引數估計法 極大似然估計法和最小二乘法 ref知乎,模型已定，引數未知的條件下，根據實驗資料估計引數模型，等價於 利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值 舉個例子 乙...
機器學習總結 四 極大似然估計與最小二乘法
基本概念在總體分布型別已知的前提下所使用的一種引數估計方法，這不同於矩估計，矩估計是在總體分布型別未知的情況下進行的。理論依據概率大的事件在一次觀測中更容易出現 通俗的解釋似然估計法是在已知結果的情況下去求未知引數 的，對於已經發生的結果 一般指的是我們所抽取出來的樣本 既然他能夠發生，說明在未知引...