假設a是二維空間乙個子空間，現在我們要求解\(ax=b\)，但是就像下面這張圖，\(b\)並不在\(a\)的列空間裡，所以也就沒解
但是沒辦法吼，領導就是要乙個解，那咋辦？我們只能找乙個最接近的解，我們在二年級的時候學過，\(b\)到\(a\)上肯定是垂線段最短，所以我們就畫個垂線。這下得到了乙個誤差向量\(e\)和乙個向量\(p\)，我們叫它投影。我們要做的就是用\(a\hat=p\)代替原\(ax=b\)，\(\hat\)則是我們要找的原方程的最優解。它們有如下關係：
\(p\)在\(a\)列空間中（p就在a上）
\(e\)和\(a\)垂直
對應上面的12，我們可以推導出如下公式
\(p=\hata\)
\(a^t(b-\hata)=a^t(b-p)=0\)
把它們整理成關於x，關於p的完整式子
上面的式子的後半部分就是把\(b\)投影到\(a\)上得到投影\(p\)的矩陣，稱為投影矩陣\(p\)
二維空間的那些東西很容易推廣到高維，用三維舉例。
這和二維空間沒啥差別，只是個別公式需要稍微調整下，同樣可以匯出這些性質
\(p\)在\(a\)列空間中
\(e\)和\(a\)列空間垂直
所以可以知道\(e\)在\(a^t\)的零空間中，也就是\(e\)在\(a\)的左零空間
公式\(p=a\hat\)
\(a^t(b-a\hat)=a^t(b-p)=0\)
整理這些都是根據二維空間的例子改的，不懂可以聯絡之前的二維空間想象。
為啥之前二維空間可以直接把\(a^ta\)除過去而不用求逆呢？對那個例子，這個乘法是一行乘一列，所以得出來乙個數，也就沒啥影響。
看上面的第四個公式，如果a是\(n\times n\)可逆方陣，那麼正好p等於單位陣，因為如果a是可逆方陣說明a的線性組合鋪滿整個n維空間，所以必有解。也就是說b就在a列的線性組合中，也就不用投影。
上圖有三個點，我們並找不出一條直線穿過三個點，所以對於\(ax=b\)(b由這三個點組成)並找不出乙個合適的\(x\)。這時就希望擬合出一條誤差最小的直線
這就是我們上面說那麼多的目的
假設最優直線是\(b=c+dt\)，那麼可列出三個方程
\[c+d=8\\
c+3d=8\\
c+4d=20
\]寫成\(ax=b\)就是
\[\left[
\begin
1&1\\
1&3\\
1&4\end
\right] \times
\left[
\begin
c\\d
\end
\right]
= \left[
\begin
8\\8\\
20\end
\right]
\]我們知道是不可能找出\(c,d\)的，但是根據上面的經驗，我們可以對兩邊乘乙個轉置，得到乙個有解的方程：\(a^ta\hat=a^tb\)，把\(a^ta\)看作乙個整體，\(a^tb\)看作乙個整體按照以往步驟消元
\[\begin
1&1&1\\
1&3&4
\end
\left[
\begin
\begin
1&1\\
1&3\\
1&4\end&
\begin
8\\8\\
20\end
\end
\right]=
\left[
\begin
\begin
3&8\\
8&26
\end&
\begin
36\\
112\end
\end
\right]\\
...\\
3c+8d=36\\
8c+26d=112\\
\]得出兩個方程組，就能得出cd了，也就找到了最優解那條直線（這書上給的例子數不好算啊，，不寫出來了）
最小二乘法和投影矩陣
最小二乘法是統計學中重要的概念，這篇文章將講解它擬合曲線的性質以及它與投影矩陣的聯絡 拿最小二乘法擬合直線來舉例 將誤差的平方和作為總誤差，總誤差最小時可求得最佳擬合直線 若設y為ax b，分別對a和b求導，因為這種函式大多為凹函式，所以取偏導為0時有極值，這裡不再展開。這種求誤差方式是從一維影象上...
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...