說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的引數值。
例如：乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法： 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：
p(黑=8)=p^8*（1-p）^2,現在我想要得出p是多少啊，很簡單，使得p(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。
可能你會有疑問，為什麼要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~
同樣，這樣一道題：設總體x 的概率密度為
已知 x1,x2..xn是樣本觀測值，求θ的極大似然估計
這也一樣啊，要得到 x1,x2..xn這樣一組樣本觀測值的概率是
p=f(x1,θ)f(x2,θ)…f(xn,θ)
然後我們就求使得p最大的θ就好啦，一樣是求極值的過程，不再贅述。
極大似然估計和最小二乘法
目錄2.最小二乘法 可能我從來就沒真正的整明白過，只是會考試而已 搞清楚事情的來龍去脈不容易忘記 兩個常見的引數估計法 極大似然估計法和最小二乘法 ref知乎,模型已定，引數未知的條件下，根據實驗資料估計引數模型，等價於 利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值 舉個例子 乙...
從最大似然估計到最小二乘法
這一部分內容和吳恩達老師的cs229前面的部分基本一致，不過那是很久之前看的了，我盡可能寫的像吳恩達老師那樣思路縝密。1.假設 之前我們了解過最大似然估計就是最大化似然函式 l theta sum log p x theta 來確定引數 theta 假設我們獨立測量的結果x x1,x2,x3.是有誤...
最小二乘法與極大似然估計
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。極大似然估計 對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計...