說說最小二乘

最小二乘是用於根據取樣結果計算「最佳引數」的常用方法。本文簡要描述最小二乘的原理和計算方法。

假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f=f(x,y,z)=ax+by+cz+d，而a,b,c,d的具體數值是未知的。

我們可以通過測量的方法得到一組f, x,y,z的取樣值為

(f1, x1,y1,z1)

(f2, x2,y2,z2)

(f3, x3,y3,z3)

........

(fn, xn,yn,zn)

眾所周知，測量是有誤差的，因此我們不可能根據上述測量值得到準確的a,b,c,d的值。為此，我們希望在下面的「誤差」的平方和最小的條件下計算a,b,c,d的值：

注意到上述方程中，只有a,b,c,d和e是未知的。而且，e是關於a,b,c,d的二次方程。根據微積分的知識我們很容易知道，二次方程一定有唯一最小值（二次係數為正數時），最小值處的點使得下面4個偏微分都為0：

這樣，對於4個未知數，我們有四個關於a,b,c,d的線性方程。利用普通的線性方程求解演算法（如高斯消去法）就可以得到a，b，c，d的值。

有趣的事情是：如果f不是關於未知引數的線性方程怎麼辦？答案是無法用最小二乘求解。原因是如果不是線性的，則上面的誤差的平方和是對未知引數的高次方程，在這種情況下，是沒有唯一的最小值解的。由於沒有唯一最小值解，方差最小的條件也無法滿足，自然無法利用最小二乘進行計算。

但是文章開頭對於線性的要求是過於嚴厲的，原因是實際上我們允許f,是x,y,z的非線性方程。例如，假如我們根據取樣結果來計算圓的方程，我們可以得到:

f(x,y)=x^2+y^2+2ax+2by+c=0

注意上面方程對x,y是二次方程而對a,b,c是線性的。當你把取樣資料輸入以後，x,y的平方項實際上是常數，你還是可以沿用前面完全一樣的方法進行計算。有興趣的使用者不妨用筆計算一次。