第十六課時：投影矩陣和最小二乘 projections matrix and least squares
投影矩陣
回顧上一講的內容，只要知道矩陣a的列空間，就能得到投影矩陣p的匯出式。
上述兩種情況的證明，第一種情況，如果b在a的列空間，那麼b可以表示為b=ax，p乘ax等於ax。第二種情況，由於b與列空間正交，那麼
atb=0，得證。
上述是兩種特殊情況，一般情況下，向量b會有一分量在列空間裡，另一分量則和列空間垂直（存在於左零空間）。投影要做的就是去掉與列空間垂直分量，保留在列空間中的分量。從幾何上看，如下
b投影到兩個正交的子空間中，投影到列空間p=pb，投影到零空間的e=(i-p)b。p和 i-p都是投影矩陣，如果p是對稱的，那 i-p也是。
最小二乘，典型的應用就是擬合最優直線
上一講的問題，找到一條最優的直線 y=c+dt，使得總誤差最小。
a的兩個列向量線性無關，右側b向量並不在a的列空間中，無解，那麼最接近的解是什麼？找擁有最小誤差平方和的解（用誤差的平方和作為測量總誤差的標準）：這些誤差是ax和b之間的差值，我們需要最小化它。
ax-b=e，即誤差向量，是向量，即意味著要將向量e的長度最小化，因為求平方很容易且為非負數，向量長度大於等於0，當等於0時，b就在a的列空間中，此時有解。可以看到上圖中，
各點到直線的距離誤差e1,e2,e3，現在就是要最小化這三者的平方和，這（線性擬合）是統計學中很重要的一部分，通常叫著線性回歸分析。
考慮 統計學中的離群值outlier，假設有個點距離最優解很遠，那麼使用最小二乘時，平方時誤差就很大了。因此最小二乘法有點太容易受到離群量的影響。
解出p(p1,p2,p3)，x'=(c,d)
計算出a
t a它是對稱可逆方陣，且是正定矩陣（後面會講）。右側兩個方程叫做」正規方程組「。
這 個「正規方程組」的得到還可通過微積分的方法得到，通過最小化誤差平方和得到，把誤差的平方和看著函式，它有c和d兩個變數，從微積分的觀點看，可以分別對c和d求偏導，並令誤差對變數c和d的偏導等於0就可得到上面兩個式子。
消元解方程組得：d=1/2，c=2/3。所以最優直線為 y=2/3 + t/2。因此也可得到三個誤差值：e1=-1/6，e2=2/6，e3=-1/6。p1=7/6，p2=5/3，p3=13/6。
p和e的關係：p+e=b， pt
×e=0，e還垂直於列空間中的任意向量。
如上兩圖，
用兩種不同的方式，b在兩個子空間的投影和最小二乘都描述了同乙個問題，b到列空間的投影得向量p,找到了最接近b的列向量的線性組合c和d，c和d定義了最優直線，由c和d確定的列組合就是向量p。
如果矩陣a各列線性無關（是最小二乘法成立的大前提），證明ata是可逆矩陣。假設a
tax=0，那麼只需要證明x只有零解。
根據向量的平方為0得ax=0，而a各列又是線性無關的，那麼x=0.
因此，矩陣a各列線性無關時， at
a是可逆的。有一種線性無關的情況比較特別，那就是標準正交向量組。
首先，相互垂直的各列向量一定是線性無關的（零向量除外）。相互垂直的單位向量一定是線性無關的，它們稱為
標準正交向量組。比如
w(cosθ,sinθ)和v(-sinθ,cosθ)就是一組典型的標準正交向量（相互垂直且是單位向量）。下講看看標準正交向量組有什麼優點以及如何使向量組標準正交化。
線性代數導論16 投影矩陣和最小二乘
第十六課時 投影矩陣和最小二乘 projections matrix and least squares 投影矩陣 回顧上一講的內容，只要知道矩陣a的列空間，就能得到投影矩陣p的匯出式。上述兩種情況的證明，第一種情況，如果b在a的列空間，那麼b可以表示為b ax，p乘ax等於ax。第二種情況，由於b...
線性代數導論2 矩陣消元
線性代數導論2 矩陣消元 第二課時 矩陣消元 本課時的目標是用矩陣變換描述消元法。核心概念是矩陣變換。一 消元法 消元法 將主對角線上的主元固定 0不能做主元 把主元下面的元素消為0。過程 先完成左側矩陣的消元 變成上三角矩陣 再回代運算右側向量，最後即可求出解完成整個消元過程 matlab也是先計...
線性代數導論3 乘法與逆矩陣
第三課時 乘法與逆矩陣 本課時先講解矩陣乘法運算，然後是逆矩陣 一 矩陣乘法 5種方法 am n bn p cm p，a列必須等於b的行數 1 常規方法，行列點乘法 c ab，c中的第i行j列結果來自a的第i行向量與b的第j列向量的點乘。整行整列的進行。2 列方法，整列考慮，列的線性組合方式 b的乙...