最小二乘法（least squares method, 簡稱lse,又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。「最小二乘法」是對過度確定系統，即其中存在比未知數更多的方程組，以回歸分析求得近似解的標準方法。在這整個解決方案中，最小二乘法演算為每一方程式的結果中，將殘差平方和的總和最小化。
應用是在曲線擬合上。最小平方所涵義的最佳擬合，即殘差（殘差為：觀測值與模型提供的擬合值之間的差距）平方總和的最小化。當問題在自變數（x變數）有重大不確定性時，那麼使用簡易回歸和最小二乘法會發生問題；在這種情況下，須另外考慮變數-誤差-擬合模型所需的方法，而不是最小二乘法。——維基百科
公式：歐幾里得度量：
假設投影點時向量上的一點p，定義p=xa(x為某常數)，則e=b-p,稱e為誤差。e與p也就是a垂直，所以有
根據公式得：如果改變b，那麼p相對應改變，然而改變a，p無變化。
平面的基向量a1、a2,矩陣a的列空間就是以a1,a2組成的平面，假設不在該平面的向量b,在該平面上的投影是p.找到乙個x,使得p=ax,e與該平面垂直，所以
展開得投影矩陣(projection matrix)：
根據投影矩陣的兩個性質：
1）2）
簡單來講就是，向量b在p矩陣上的投影成向量p
ax=b不一定有解（當a的置小於a的增廣矩陣的置時），但實際遇到（m>n）,一定有解。p在a1，a2的平面上，所以ax = p有解的，所以b可以投影到p上。
最小二乘法的應用，請看下面的哈希圖：
在一張雜湊點圖中作一條直線來近似表述這些點的關係。
設y與t為線性關係，m個點(ai,bi),求兩個未知引數c，d。代入方程組得：
則：
a 稱為結構矩陣, b 稱為資料矩陣,—————————————————————————————————————————–參考：《最小二乘法》而最小二乘的求解實質上就是 ax=b 沒有解，我們就把 b 投影到向量 p 上，求解 ax =p.
向量定義為：
r為向量a,b間的向量夾角，r越接近1，y與t的執行緒關係越好，r為正數時，直線斜率為正，正相關，r為負數時，斜率為負，負相關，接近0時，測量資料點分散或之間為非線性，不論測量資料好壞都能求出和。判斷測量資料好壞的方法，不宜擬合的判斷方法是測量資料非線性的。r接近0成為關係數的基本值，與測量次數n有關。
《最小二乘法的本質是什麼？》
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
機器學習系列之最小二乘法
最小二乘法，又稱最小平方法，是機器學習中基礎的演算法之一，它是一種優化演算法，通過最小化誤差的平方來尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。在機器學習中，還可以使用最小二乘法來進行曲線擬合。上圖介紹的上海市長寧區部分房價的...