β
1 的估計值，我只給出了乙個公式；套這個公式有一種可以逼格公升高的說法，叫做「使用method of moments「，只是個名詞，知道下就可以了。文章裡說通過 β1
就可以求得 β0
，事實確實是這樣的，但具體怎麼求讀者可能就迷糊了，這裡來細講一下。
整乙個method of moments, 最開始的根據就是乙個等式： y¯
=β0^
+β1^
x¯變數上方加乙個」bar」 表示平均值， 加乙個」hat」表示估計值。這兩個值很好理解，要用回歸肯定有一組資料，簡單的回歸模型資料只有
x 和
y，於是 x¯
那就是所有的
x 求平均，y¯
就是所有的
y 求平均，很容易算；估計值如果你沒有學過概率論的話，可能有點陌生，但都要學計量經濟學了，誰還不懂點概率論啊；話說回來，我們這個方法的目的就是要求出 β0
,β1的值，不是求出，是估計出，這個措辭的改變就是統計學和數學的區別了，統計學是不確定的，數學是確定的，估計出的值都叫做估計值；好，說了這麼多，你再回去看上面的公式，是不是就知道在知道 β1
^ 情況下，如何求 β0
^ ?簡單的移項就搞定了。
這個定理的中文名叫做高斯-馬爾科夫定理，我總結了一下，這個定理的主要內容就是：最小二乘法，好好好！！！
老師的說法是：最小二乘法ols，可以求出最小方差、線性無偏估計量；我改個說法，最小二乘法，又穩又准！方差**明穩定，無偏(unbiased)說明準確。
標準高斯-馬爾科夫定理有四個著名假設，都是適用在簡單線性回歸上的，變數只有乙個，比較適合我們初學者。我不打算把所有的定理都寫下來了，因為各種教材上都能查到，我就寫點我自己的理解。y=
β0+β
1x+u
在β0,β1
u 來表示。如果每個資料點用 (x
i,yi
)來表示的話，對應也會有乙個 ui
, 於是上式更新為： yi
=β0+
β1xi
+ui
乙個重要的假設就是 ui
的均值等於0， 寫得冠冕堂皇一點就是：e(
u)=0
. 第二個重要假設就是 ui
和 xi
是不相關的。舉個具體例子來說，如果我們研究收入和消費的關係，令自變數為收入，因變數為消費，我們假設他們是線性關係，用最小二乘法估計出了兩個引數，然後把擬合的曲線畫了出來，一種可能出現的 ui
和 xi
相關的情況就是，當收入很小的時候，那些資料點非常靠近直線，即窮人，消費佔收入的比例較為固定，收入增加了，消費也很迅速地隨著收入一起增加，當收入大的時候，很多富人的消費就不盡相同了，這個時候偏差 ui
就會比較大；假設他們不相關，就是想說明這種情況是不存在的，這簡化了問題，方便我們去認識回歸分析。
那麼最小二乘法好不好呢，好！究竟如何好？我們需要一些指標來測算一下。
中文比較拗口，英文名是：goodness-of-fit, 就是擬合得好不好。指標用 r2
來表示，在0和1的範圍內，越接近1，擬合效果越好，計算方法如下： r2
=β21
^(∑x
2i∑y
2i)
線性回歸，最小二乘法
回歸的定義 對於乙個點集，使用乙個函式去擬合該點集，使點集與擬合函式間的誤差最小，如果這個函式曲線是一條直線，則是線性回歸，如果曲線是二次曲線，則是二次回歸。廣義線性回歸 廣義線性模型是線性模型的擴充套件，其特點是不強行改變資料的自然度量，資料可以具有非線性和非恆定方差結構 59 主要是通過聯結函式...
線性回歸 最小二乘法（二）
上篇文章中介紹了單變數線性回歸，為什麼說時單變數呢，因為它只有單個特徵，其實在很多場景中只有單各特徵時遠遠不夠的，當存在多個特徵時，我們再使用之前的方法來求特徵係數時是非常麻煩的，需要乙個特徵係數乙個偏導式，而卻最要命的時特性的增長時及其迅猛的，幾 十 幾百 幾千 單變數線性回歸 多變數線性回歸 所...
兩階段最小二乘法 最小二乘法與線性回歸
引言 回歸分析 regression analysis 指的是確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。回歸分析按照涉及的變數的多少，分為一元回歸和多元回歸分析 按照自變數和因變數之間的關係型別，可分為線性回歸分析和非線性回歸分析。線性回歸是一種最為我們熟悉的方式，故接下來我們就...