都忘了，再回顧一下：
參考知乎 該問題下面的部分回答：
建議有時間的把問題下面的所有答案都過一遍，這樣可以通過不同的切入點來更好的理解。
最小二乘法，也叫最小平方法，在古漢語中「平方」稱為「二乘」，「最小」指的是引數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。（記得贇哥解釋過，這個方法起源於日本，就直接拿過來用了，其實最小平方法更好理解一點）
最小二乘作為一種損失函式，也用做曲線擬合（曲線擬合求引數也是利用最小化平方的方法，其實也是作為一種損失函式，兩個作用可以認為是一致的）
在直線的 y = ax + b中，通過給定的幾個點（x1, y1）, （x2, y2）, （x3, y3）然後求出引數 (a, b), 根據給出的點列出方程組,然後令： s(
a,b)
＝(y1
−(ax
1+b)
)2+(
y2−(
ax2+
b))2
+(y3
−(ax
3+b)
)2然後使 s(a,b) 最小化, 對a 和 b 分別求偏導，令其等於0， 求得a 和 b 的估計值。
上面這個過程是不是跟極大似然估計(mle)的過程有點像，下面我們再回顧一下mle做一下對比：
首先mle使在已知分布的條件下根據一些樣本來估計引數的方法：
將 y = ax + b 擴充套件到多維的情況， f(
x)=∑
dj=1
xjwj
+ϵ=x
w⊺+ϵ
其中xj
∈ℝ1×
d , w∈
ℝ1×n
, y∈
ℝ1×n
, x ＝(x1, x2, …, xn), 假設ϵi
∼(0
,σ2)
, 則 yi
∼(x
w,σ2
) ， 現在要估計w的值：
argmaxwl
(w)=
ln∏i=
1n1σ
2π‾‾
‾√exp(−1
2(yi
−xiw
⊺σ)2
)=−1
2σ2∑
i=1n
(yi−
xiw⊺
)2−n
lnσ2π
‾‾‾√
argminwf
(w)=
∑ni=
1(yi
−xiw
⊺)2=
∥∥y−
xw⊺∥
∥22 /answer/25186207）
其實最小二乘就是歐式距離的損失函式的主體部分， 就是最小平方誤差的方法來估計引數的方法。
對於多維的曲線擬合線性求解方法（ ∑n
j=1x
ijβj
=yi,
(i=1
,2,…
,m)
寫成向量形式就是： xβ
=y則損失函式： s(
β)=∥
∥y−x
β∥∥2
估計值 β̂
β̂ =
argm
inβs
(β),
對β 求微分得： β̂
=(xt
x)−1
xty.
python**；
import numpy as np
import matplotlib.pyplot as plt
input = np.array([
[1, 6],
[2, 5],
[3, 7],
[4, 10]
])m = np.shape(input)[0]
x = np.matrix([np.ones(m), input[:,0]]).t
y = np.matrix(input[:,1]).t
#直接代入公式
betahat = np.linalg
.inv(x
.t.dot(x)).dot(x
.t).dot(y)
print(betahat)
plt.figure(1)
xx = np.linspace(0, 5, 2)
yy = np.array(betahat[0] + betahat[1] * xx)
plt.plot(xx, yy.t, color='b')
plt.scatter(input[:,0], input[:,1], color='r')
plt.show()
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...
最小二乘法
最小二乘法 least squares analysis 是一種 數學 優化 技術，它通過 最小化 誤差 的平方和找到一組資料的最佳 函式 匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於 曲線擬合 least squares fitting 這裡有...