在搜尋投影矩陣時搜到了一篇部落格：投影矩陣與最小二乘（一），作者一共寫了三篇，寫的很不錯，從作者第一篇中開頭提到「strang教授」，搜尋一下此人可以搜到麻省理工的開放課程線性代數，在暴風影音裡可以搜到，這個公開課共35講，其中第16講是投影矩陣和最小二乘，估計投影矩陣與最小二乘（一）就是基於這一講內容的吧，今天我也看過了，講得挺不錯的，計畫後續將35講都看一下，學習壓縮感知，線性代數的基礎是必備的，35講在國內也就是個2學分的課而已，堅持一下就可以了。
下面開始講什麼是投影矩陣，主要基於投影矩陣與最小二乘（一）和公開課16講，所以思路和投影矩陣與最小二乘（一）也差不多了。
********************====正文********************====
公開課第16講中提到，如果有三個點（1，1），（2，2），（3，2），希望有一條線y=c+dt來逼近這些點，由這三個點實際上可以得到三個方程：
c+d*1=1
c+d*2=2
c+d*3=2
這個方程可以寫成矩陣的形式：
這個方程組由於矩陣a的秩r(a)=2（秩等於列的個數，即矩陣a的列是線性無關的），小於增廣矩陣的秩r(a,b)=3，因此方程組無解，即不存在一條直線穿過這三個點（1，1），（2，2），（3，2）。
所以我們就用最小二乘法擬合一條直線使這三個點到直線的距離的平方和最小。怎麼求擬合曲線的c和d呢？
這個過程是從數學上來推導的，從幾何意義上如何來理解這個問題呢？
首先對於矩陣a來講共有兩個列向量，a=[a1,a2]，兩個向量會確定乙個平面（個人理解就此平面就是由a的列向量生成的子空間），而對於b來說也是乙個向量，求c和d的過程實際上就是用向量a1和a2的線性組合來表示向量b的過程，即：
但實際上，向量b並不在向量a1和a2確定的平面上，即不能用向量a1和a2的線性組合來表示向量b，這時可以用向量a1和a2表示乙個向量p，使向量p最接近於向量b，或者說使||b-p||2最小，即前面說的用最小二乘法擬合一條直線使這三個點到直線的距離的平方和最小。從幾何上我們知道這個向量p就是向量b在由a1和a2所確定的平面上的正交投影。如何由向量b得到向量p呢?即如何得到向量b的正交投影p呢？我們可以通過乙個矩陣變換來實現：
因此，正交投影和投影矩陣是不一樣子的，正交投影p是向量b在平面（由矩陣a的列向量a1和a2確定）上正交投影，而投影矩陣是從向量b變換到其正交投影p過程中的變換矩陣p：
這裡可以用一幅空間裡的圖來表示：
********************====結語********************====
至此，投影矩陣說完了，有新的感悟再繼續寫吧……
***************====補充（2014.11.26）***************==
y=φx，其中x為訊號，y為觀測值，φ即為他們所說的投影矩陣，一般還稱為觀測矩陣
x=ψθ，其中ψ為稀疏矩陣或稀疏基
從這個問題裡也反應了叫法不一樣的不利之處。
我們這裡經過投影矩陣p的變換，由向量b得到向量p，由於p是b的正交投影，所以這個矩陣p應該稱為正交投影矩陣吧，感覺再寫長一點更好：正交投影變換矩陣，這樣就混淆不了概念了。
（數學）最小二乘的幾何意義及投影矩陣
主要內容 什麼是最小二乘 最小二乘的幾何意義 正交投影矩陣 假設我們手上有n組成對的資料，為了 y變數與x變數的關係，我們希望用乙個多項式來匹配它，可是多項式中的係數怎麼確定呢？拿來拼湊肯定是不行的，最小二乘法告訴我們，這個多項式的係數應該讓每個點的誤差的平方之和最小。最小二乘的幾何意義 最小二乘法...
線性代數導論16 投影矩陣和最小二乘
第十六課時 投影矩陣和最小二乘 projections matrix and least squares 投影矩陣 回顧上一講的內容，只要知道矩陣a的列空間，就能得到投影矩陣p的匯出式。上述兩種情況的證明，第一種情況，如果b在a的列空間，那麼b可以表示為b ax，p乘ax等於ax。第二種情況，由於b...
線性代數導論16 投影矩陣和最小二乘
第十六課時 投影矩陣和最小二乘 projections matrix and least squares 投影矩陣 回顧上一講的內容，只要知道矩陣a的列空間，就能得到投影矩陣p的匯出式。上述兩種情況的證明，第一種情況，如果b在a的列空間，那麼b可以表示為b ax，p乘ax等於ax。第二種情況，由於b...