最小二乘法在中學時講過。有一些散點有線性的趨勢，用乙個一次函式去擬合，使得差距最小化。
對於 \(x_i\) ，採用上述函式計算出的結果記為 \(\hat\) ，即：
\[ \hat = w_1 x_i+w_0 \]
定義差距為：
\[ \sum_^m (y_i - \hat)^2 \]
現需要最小化這個差距。顯然，上式為關於 \(w\_0\) 和 \(w\_1\) 的函式（損失函式）。為了方便，將 \(\sum\limits\_^m\) 簡記為 \(\sum\) ，記：
\[ \begin f(w_0, w_1) &= \sum (y_i - \hat)^2 \\ &= \sum (y_i - (w_1 x_i + w_0))^2 \\ &= \sum (y_i^2 - 2y_ix_iw_1 - 2y_iw_0 + x_i^2w_1^2 + w_0^2 + 2x_iw_0w_1) \\ \end \]
分別對 \(w_0, w_1\) 求偏導：
\[ \begin \frac &= \sum (-2y_i + 2w_0 + 2x_iw_1) \\ &= -2 \sum + 2mw_0 + 2w_1 \sum \\ \frac &= \sum (-2x_iy_i + 2x_i^2w_1 + 2w_0x_i) \\ &= -2\sum + 2w_1\sum + 2w_0\sum \\ \end \]
令：\[ \begin \frac &= 0 \\ \frac &= 0 \\ \end \]
得：\[ \begin mw_0 + w_1\sum &= \sum \\ w_1\sum + w_0\sum &= \sum \\ \end \]
聯立上面兩式可得：
\[ \begin w_0 &= \frac \sum - \sum\sum} )^2 - m\sum} \\ w_1 &= \frac \sum - m\sum} )^2 - m\sum} \\ \end \]
注意， \(\sum \ne (\sum)^2\) ，計算時要細心。
記 \(\mathbf\) 為 \(m\times n\) 的矩陣，表示有 \(m\) 個樣本點，特徵維數為 \(n\) 維； \(\mathbf\) 為 \(m\) 維列向量，表示這 \(m\) 個樣本點的實際值； \(\mathbf}\) 為 \(m\) 維列向量，表示這 \(m\) 個樣本點的估計值； \(\mathbf\) 為 \(n\) 維列向量，且：
\[ \mathbf} = \mathbf\mathbf \]
則：\[ \mathbf - \mathbf} = \mathbf - \mathbf\mathbf \]
上式的結果是乙個列向量，而我們需要的是其平方和。根據矩陣乘法的定義，損失函式為：
\[ f(\mathbf) = (\mathbf - \mathbf\mathbf)^(\mathbf - \mathbf\mathbf) \]
現要求 \(\frac }\) ，可 \(\mathbf\) 是個向量呀，這個該怎麼求呢？
【實數值函式對向量求導】
\[ \frac } = \begin \frac & \frac & \dots & \frac \\ \end \] 其中， \(\mathbf= \left[x_1, x_2, \dots, x_n\right]^\) 為 \(n\) 維列向量， \(f\) 是 \(\mathbf\) 上 \(\re^n \to \re\) 的函式（也就是， \(f\) 的輸入是 \(n\) 維列向量，輸出是實數）
【向量值函式對向量求導】
\[ \frac } } = \begin \frac} & \frac} & \dots & \frac} \\ \frac} & \frac} & \dots & \frac} \\ \vdots & \vdots & \ddots & \vdots \\ \frac} & \frac} & \dots & \frac} \\ \end \]
即：\[ (\frac } })_ = \frac} \]
其中， \(\mathbf= \left[x_1, x_2, \dots, x_n\right]^\) 為 \(n\) 維列向量， \(\mathbf\) 是定義在 \(\mathbf\) 上 \(\re^n \to \re^m\) 的函式（也就是， \(\mathbf\) 的輸入是 \(n\) 維列向量，輸出是 \(m\) 維列向量），上面的矩陣稱為雅可比（jacobi）矩陣。
【鏈式求導】
設 \(\mathbf\) 為列向量，復合函式 \(\mathbf) = \mathbf)})}}\) ，其中向量值函式（也就是函式的值域是向量）\(\mathbf)}\) 和 \(\mathbf)}\) 均可微，則：
\[ \mathbf^\prime(\mathbf) = \mathbf^\prime(\mathbf)})\mathbf^\prime(\mathbf) \]
和代數形式的鏈式求導類似。
記 \(\mathbf)} = \mathbf - \mathbf\mathbf\) ，則：
\[ \begin f &= \mathbf^ \mathbf \\ &= \sum\nolimits_i \\ \end \]
\[ \begin \frac } &= \begin \frac }} } & \frac }} } & \dots & \frac }} } \\ \end \\ &= \begin 2u_1 & 2u_2 & \dots & 2u_i \end \\ &= 2 \begin u_1 & u_2 & \dots & u_i \end = 2 \mathbf^\\ \end \]
\[ \begin \mathbf &= \mathbf - \mathbf\mathbf \\ &= \begin y_1 \\ y_2 \\ \vdots \\ y_m \\ \end - \begin x_ & x_ & \dots & x_ \\ x_ & x_ & \dots & x_ \\ \vdots & \vdots & \ddots & \vdots \\ x_ & x_ & \dots & x_ \\ \end \begin w_1 \\ w_2 \\ \vdots \\ w_n \\ \end \\ &= \begin y_1 - \sum w_i} \\ y_2 - \sum w_i} \\ \vdots \\ y_m - \sum w_i} \\ \end \\ \end \]
\[ \begin (\frac}}}})_ &= \frac \\ &= \fracw_1 + x_w_2 + \dots + x_w_n))} \\ &= -x_ \end \]
\[ \frac}} = - \mathbf \]
使用鏈式求導：
\[ \begin \frac }} &= \frac } \frac } } \\ &= 2 \mathbf^ (- \mathbf) \\ &= -2(\mathbf - \mathbf\mathbf)^\mathbf \\ &= -2 (\mathbf^ - (\mathbf\mathbf)^)\mathbf \\ &= -2 (\mathbf^ - \mathbf^\mathbf^) \mathbf \\ &= -2 (\mathbf^\mathbf - \mathbf^\mathbf^\mathbf) \end \]
令：\[ \frac} = \mathbf \]
得：\[ \mathbf^\mathbf^\mathbf = \mathbf^\mathbf \]
若 \(\mathbf^\mathbf\) 可逆，則兩邊同時右乘 \((\mathbf^\mathbf)^\) ，得：
\[ \mathbf^ = \mathbf^\mathbf(\mathbf^\mathbf)^ \]
兩邊同時轉置：
\[ \begin \mathbf &= (\mathbf^\mathbf(\mathbf^\mathbf)^)^ \\ &= ((\mathbf^\mathbf)^)^\mathbf^(\mathbf^)^ \\ &= ((\mathbf^\mathbf)^)^\mathbf^\mathbf \\ &= (\mathbf^(\mathbf^)^)^\mathbf^\mathbf \\ &= (\mathbf^\mathbf)^\mathbf^\mathbf \\ \end \]
線性最小二乘法
example f x 12 ax b 22 f x frac parallel ax b parallel 2 2 f x 2 1 a x b 22 最小化下式時x的值。首先計算 xf x at a x b ata x at b big down xf x a t ax b a tax a tb ...
最小二乘法 公式推導
求出這樣一些未知引數使得樣本點和擬合線的總誤差 距離 最小 最直觀的感受如下圖 圖引用自知乎某作者 而這個誤差 距離 可以直接相減，但是直接相減會有正有負，相互抵消了，所以就用差的平方 1 寫出擬合方程y a bx y a bx 2 現有樣本 x1 y1 x2 y2 xn,y n x1,y1 x2,...
最小二乘法 模型 普通最小二乘法的推導證明
在統計學中，普通最小二乘法 ordinary least squares，ols 是一種用於在線性回歸模型中估計未知引數的線性最小二乘法。ols通過最小二乘法原則選擇一組解釋變數的線性函式的引數 最小化給定資料集中觀察到的因變數 被 變數的值 與 變數之間殘差的平方和。我們先以一元線性模型為例來說明...