投影矩陣廣泛地應用在數學相關學科的各種證明中，但是由於其概念比較抽象，所以比較難理解。這篇文章主要從最小二乘法的推導匯出投影矩陣，並且應用svd分解，寫出常用的幾種投影矩陣的形式。已知有乙個這樣的方程組：
\[ax=b
\]其中，\(a \in r^,x,b \in r^n\)
如上圖所示，\(b\)不在\(ran(a)\)中，\(ax_0\)是\(ran(a)\)空間中對\(b\)在歐幾里得範數下的最好估計。此時$$\forall x \in ,\left\langle } \right\rangle = 0$$
等價於\[(b - a) = 0
\]由於x的任意性，所以
\[(b - a) = 0
\]整理得
\[ = a)^}b = b
\]其中\( = a)^}\)稱為a的偽逆。
原問題等價於
\[\min ||ax - b||_2^2
\]記$ f(x)=||ax-b||_22=(ax-b)t(ax-b)=xtat a x-2 b^t a x + b^tb$,對x求導得，
\[\nabla f = 2(ax - b) = 0
\]解得，
\[ = a)^}b = b
\]對最小二乘解兩邊同時乘以a，就是對應的投影向量，即
\[ = a)^}b=pb
\]那麼\(p=a)^}\)就是將\(b\)投影到\(ran(a)\)的投影矩陣。因為
\[p^t=a)^}=p,p^2=p
\]滿足投影矩陣的定義。
所以\(ran(a)\)對應的投影矩陣為
\[p=a)^}
\]秩為r的矩陣a的svd分解為\(a = u\sigma \in r^\)。其中，
\[u = [|],v = [|]
\]那麼，帶入公式可以得到
\(v_r v_r^t\)是\(ran(a^t)=^\bot\)空間的投影矩陣
\(u_r u_r^t\)是\(ran(a)\)空間的投影矩陣
對於\(\forall x \in r^n\),有
\[\left\langle ^t x} \right\rangle =x^t v_r v_r^t \tilde v_r ^t x=0
\]所以，\(\tilde v_r ^t\)是\(null(a)\)空間的投影矩陣
同理,\(\tilde u_r ^t\)是\(null(a^t)=^\bot\)空間的投影矩陣
最小二乘法和投影矩陣
最小二乘法是統計學中重要的概念，這篇文章將講解它擬合曲線的性質以及它與投影矩陣的聯絡 拿最小二乘法擬合直線來舉例 將誤差的平方和作為總誤差，總誤差最小時可求得最佳擬合直線 若設y為ax b，分別對a和b求導，因為這種函式大多為凹函式，所以取偏導為0時有極值，這裡不再展開。這種求誤差方式是從一維影象上...
投影 最小二乘法介紹
假設a是二維空間乙個子空間，現在我們要求解 ax b 但是就像下面這張圖，b 並不在 a 的列空間裡，所以也就沒解 但是沒辦法吼，領導就是要乙個解，那咋辦？我們只能找乙個最接近的解，我們在二年級的時候學過，b 到 a 上肯定是垂線段最短，所以我們就畫個垂線。這下得到了乙個誤差向量 e 和乙個向量 p...
最小二乘法矩陣
usr bin env python coding utf 8 import numpy as np defcalc left k mat k 獲得左側k矩陣 param k return k mat for i in range k 1 now line for j in range k 1 re...