求出這樣一些未知引數使得樣本點和擬合線的總誤差（距離）最小
最直觀的感受如下圖（圖引用自知乎某作者）
而這個誤差（距離）可以直接相減，但是直接相減會有正有負，相互抵消了，所以就用差的平方
1 寫出擬合方程y=
a+bx
y=a+bx
2 現有樣本(x1
,y1)
,(x2
,y2)
...(
xn,y
n)(x1,y1),(x2,y2)...(xn,yn)
3 設didi
為樣本點到擬合線的距離，即誤差di
=yi−
(a+b
xi)di=yi−(a+bxi)
4 設d
d為差方和（為什麼要取平方前面已說，防止正負相互抵消）d=
∑i=1
nd2i
=∑i=
1n(y
i−a−
bxi)
d=∑i=1ndi2=∑i=1n(yi−a−bxi)
5 根據一階導數等於0，二階大於等於0（證明略）求出未知引數
對a求一階偏導∂d
∂a=∑
i=1n
2(yi
−a−b
xi)(
−1)=
−2∑i
=1n(
yi−a
−bxi
)∂d∂a=∑i=1n2(yi−a−bxi)(−1) =−2∑i=1n(yi−a−bxi) =−
2(∑i
=1ny
i−∑i
=1na
−b∑i
=1nx
i)=−
2(ny
¯−na
−nbx
¯)=−2(∑i=1nyi−∑i=1na−b∑i=1nxi) =−2(ny¯−na−nbx¯)
對b求一階偏導∂d
∂b=∑
i=1n
2(yi
−a−b
xi)(
−xi)
=−2∑
i=1n
(xiy
i−ax
i−bx
2i)∂d∂b=∑i=1n2(yi−a−bxi)(−xi) =−2∑i=1n(xiyi−axi−bxi2) =−
2(∑i
=1nx
iyi−
a∑i=
1nxi
−b∑i
=1nx
2i)=
−2(∑
i=1n
xiyi
−nax
¯−b∑
i=1n
x2i)
=−2(∑i=1nxiyi−a∑i=1nxi−b∑i=1nxi2) =−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)
令偏導等於0得−2
(ny¯
−na−
nbx¯
)=0−2(ny¯−na−nbx¯)=0
=>a=
y¯−b
x¯=>a=y¯−bx¯ −
2(∑i
=1nx
iyi−
nax¯
−b∑i
=1nx
2i)=
0−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)=0
並將a=y¯
−bx¯
a=y¯−bx¯
帶入化簡得
=>∑i
=1nx
iyi−
nx¯y
¯+nb
x¯2−
b∑i=
1nx2
i=0=>∑i=1nxiyi−nx¯y¯+nbx¯2−b∑i=1nxi2=0
=>∑i
=1nx
iyi−
nx¯y
¯=b(
∑i=1
nx2i
−nx¯
2)=>∑i=1nxiyi−nx¯y¯=b(∑i=1nxi2−nx¯2)
=>b=
∑i=1
nxiy
i−nx
¯y¯∑
i=1n
x2i−
nx¯2
=>b=∑i=1nxiyi−nx¯y¯∑i=1nxi2−nx¯2
因為∑i=
1n(x
i−x¯
)(yi
−y¯)
=∑i−
1n(x
iyi−
x¯yi
−xiy
¯+x¯
y¯)=
∑i=1
nxiy
i−nx
¯y¯−
nx¯y
¯+nx
¯y¯∑i=1n(xi−x¯)(yi−y¯)=∑i−1n(xiyi−x¯yi−xiy¯+x¯y¯)=∑i=1nxiyi−nx¯y¯−nx¯y¯+nx¯y¯∑i
=1n(
xi−x
¯)2=
∑i−1
n(x2
i−2x
¯xi+
x¯2)
=∑i=
1nx2
i−2n
x¯2+
nx¯2
=∑i=
1nx2
i−nx
¯2∑i=1n(xi−x¯)2=∑i−1n(xi2−2x¯xi+x¯2)=∑i=1nxi2−2nx¯2+nx¯2=∑i=1nxi2−nx¯2
所以將其帶入上式得b=∑
i=1n
(xi−
x¯)(
yi−y
¯)∑i
=1n(
xi−x
¯)2
線性最小二乘法推導
最小二乘法在中學時講過。有一些散點有線性的趨勢，用乙個一次函式去擬合，使得差距最小化。對於 x i 採用上述函式計算出的結果記為 hat 即 hat w 1 x i w 0 定義差距為 sum m y i hat 2 現需要最小化這個差距。顯然，上式為關於 w 0 和 w 1 的函式 損失函式 為了...
最小二乘法 模型 普通最小二乘法的推導證明
在統計學中，普通最小二乘法 ordinary least squares，ols 是一種用於在線性回歸模型中估計未知引數的線性最小二乘法。ols通過最小二乘法原則選擇一組解釋變數的線性函式的引數 最小化給定資料集中觀察到的因變數 被 變數的值 與 變數之間殘差的平方和。我們先以一元線性模型為例來說明...
最小二乘法 模型 普通最小二乘法的推導證明
在統計學中，普通最小二乘法 ordinary least squares，ols 是一種用於在線性回歸模型中估計未知引數的線性最小二乘法。ols通過最小二乘法原則選擇一組解釋變數的線性函式的引數 最小化給定資料集中觀察到的因變數 被 變數的值 與 變數之間殘差的平方和。我們先以一元線性模型為例來說明...