目錄2.最小二乘法
可能我從來就沒真正的整明白過，只是會考試而已
搞清楚事情的來龍去脈不容易忘記
兩個常見的引數估計法：
極大似然估計法和最小二乘法
ref知乎,模型已定，引數未知的條件下，根據實驗資料估計引數模型，等價於「利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的引數值」
舉個例子
乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法：
我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：p(黑=8)=p^8*（1-p）^2,現在我想要得出p是多少啊，很簡單，使得p(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。可能你會有疑問，為什麼要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~同樣，這樣一道題：設總體x 的概率密度為 已知 x1,x2..xn是樣本觀測值，求θ的極大似然估計這也一樣啊，要得到 x1,x2..xn這樣一組樣本觀測值的概率是p=f(x1,θ)f(x2,θ)…f(xn,θ) 然後我們就求使得p最大的θ就好啦，一樣是求極值的過程
這個是我體聽過最好的解釋了
知乎一元線性回歸中：隨機抽取n組樣本觀測值：\(x_i\)，\(y_i\)（i=1,2...n）假如模型引數已經求得\(b_0\)和\(b_1\),那麼\(y_i\)f服從的正態分佈如下
\[y_ \sim n\left(\hat_+\hat_ x_, \sigma^\right)
\]\(y_i\)的概率分布函式如下
\[p\left(y_\right)=\frac} e^}\left(y_-\beta_-\hat_ x_\right)^}
\]因為\(y_i\)的樣本是獨立同分布的，所以y的樣本聯合分布概率的似然函式為
\[l\left(\hat_, \hat_, \sigma^\right)=p\left(y_, y_, \ldots, y_\right)=\frac \sigma^} e^ t} \sum\left(\gamma_-\hat_-\hat_ x_\right)^}
\]將這個函式求極大值，另外，似然函式的極大化與極大似然函式取對數後再極大化是等價的，取對數後的極大似然函式如此啊
\[l^=\ln l=-n \ln (\sqrt \sigma)-\frac} \sum\left(y_-\hat_-\hat_ x_\right)^
\]求\(l^*\)的極大值等價於\(\sigma\left(y_-\hat_-\hat_ x_\right)^\)求極小，按照正常求導步驟求解即可
最小二乘法就是在這些散點圖中找到一條能夠反映相關性的一條直線，這條直線使得所有點到這條直線的距離的平方和最小，最後我們通過對這條直線的未知係數求偏導
這個一般的統計學上的書會有，考試時候也會出一些簡單的題手算，就是求一條直線的斜率和截距
這個講的更加清楚一些
最小二乘法與極大似然估計
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。比如下圖，我們有三個樣本點，如何劃出他的線性回歸直線呢？那我們就可以找到一條直線，這條直線到三個樣本點的距離的平方和是最小的。這就是最小二乘法。公式如下。極大似然估計 對於極大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計...
極大似然估計與最小二乘法
參考 最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線...
最大似然估計和最小二乘法
說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到黑球的概率...