根據解的存在情況，線性方程 ax=b 可以分為恰定方程組（有唯一解），超定方程組（解不存在）， 和欠定方程組（有無窮多解）。這個問題從線性空間的角度去分析，可以看成向量b在a張成的線性空間的投影問題。 乙個形象的解釋是，已知不重合的兩個點，要求過這兩點的一條直線，那麼我們可以唯一的確定這條直線。如果給定三個點，且這三個點正好在乙個直線上，這條直線仍然可以唯一確定，如果三點不在同一直線，這就是超定問題。最後，如果只給定乙個點，顯然是欠定問題。在實驗資料處理和曲線擬合(curve fitting)問題中，求解超定方程組非常普遍。比較常用的方法是最小二乘法(least squares)。形象點，就是在無法完全滿足給定的這些條件的情況下，求乙個最接近的解。
天文學從古代到18世紀是應用數學中最發達的領域，觀測和數學天文學給出了建立數學模型及資料擬合的最初例子，在此種意義下，天文學家就是最初的數理統計學家。天文學的問題逐漸引導到算術平均，以及引數模型中的種種估計方法，已最小二乘法為頂峰。這段話可以看出一絲數學發展的脈絡，有源之水，才不斷流動。
a.m.legendre(勒讓德)在考慮誤差整體上平衡的基礎上，從解方程的角度發明了最小二乘法，先前的前輩們都致力於找出幾個方程（個數等於未知數個數）再去求解。從某種意義講，最小二乘法是乙個處理觀測值的純粹代數方法。要將其應用於統計推斷問題就需要考慮觀測值的誤差，確定誤差分布的函式形式。（在這裡還是純粹代數方法）。勒讓德的推導過程比較好找也比較好理解，就不寫在這裡了。
高斯的最小二乘法理論發表與他匯出正態誤差分布時，其實現在看來最小二乘法很平常，但是當時天文學家可能並不相信統計平均，maybe乙個更「合理」的觀測值更有意義。
其實我對於高斯如何匯出誤差正態分佈(把正態分佈引入到誤差分布)更有興趣，經過多方的查詢，更新了下以前的一篇文章，寫在那裡更合標題吧。
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...
最小二乘法
最小二乘法 least squares analysis 是一種 數學 優化 技術，它通過 最小化 誤差 的平方和找到一組資料的最佳 函式 匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於 曲線擬合 least squares fitting 這裡有...