最早接觸最小二乘用於回歸方程引數求解，方法簡單，容易理解，應用廣泛。本文簡要推導一下最小二乘法的求解過程，原理不做詳解，只是求解過程推導，更詳細的可網上查閱，最後附參考文章。
1.最小二乘目標，求j(w)最小值： j(
w)=1
/2∑i
=1n(
wtxi
−yi)
2 其中，假設樣本有n個，d=
n1，權重向量w，特徵向量xi
，目標變數yi
(用於回歸，一般為實數)。
2.求最小值，對 w求導等於零，以下側重於如何求導，也是本文重點；
3.j(w)涉及求和，聯想到矩陣的跡，tr(a) = sum(ai
i )，設：a=
⎡⎣⎢⎢
⎢⎢⎢⎢
wtx1
−y1.
..wt
xi−y
i...
wtxn
−yn⎤
⎦⎥⎥⎥
⎥⎥⎥
則j(w) = 1/2tr(a2
)，又令a = wt
x−y (拆開a)，其中 x=
wt⎡⎣
⎢⎢⎢⎢
⎢x1.
..xi
...x
n⎤⎦⎥
⎥⎥⎥⎥
,y=⎡
⎣⎢⎢⎢
⎢⎢⎢y
1...
yi..
.yn⎤
⎦⎥⎥⎥
⎥⎥⎥
於是有，dj
(w)d
w=d1
2tr(
a2)d
w=d1
2tr(
(wtx
−y)2
)dw=
(wtx
−y)x
t 相當於復合函式求導，令導數等於零，wt
xxt=
yxt
最後，求得最小二乘的引數向量：wt
=yxt
(xxt
)−1
4.總結，主要的是由求和聯想到矩陣的跡，然後用到矩陣求導；
[2]
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
說說最小二乘
最小二乘是用於根據取樣結果計算 最佳引數 的常用方法。本文簡要描述最小二乘的原理和計算方法。假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f f x,y,z ax by cz d，而a,b,c,d的...