1、零空間
矩陣a的零空間就ax=0的解的集合。假設矩陣的秩為r，矩陣為m*n的矩陣，則零空間的維數為n-r。因為秩為r，則自由變數的個數為n-r，有幾個自由變數，零空間就可以表示層幾個特解的線性組合，也即是零空間的維數為自由變數的個數。
2、列空間
矩陣a的列空間就是矩陣a中各列的線性組合。假設矩陣的秩為r，矩陣為m*n的矩陣，則列空間可以表示為r個主元的線性組合，即零空間的維數為r。
3、行空間
4、左零空間
左零空間是atx=0的解的集合。由於秩為r，則自由變數的個數為m-r，即左零空間的維數為m-r。
定義：兩個子空間正交即兩個子空間的任意兩個向量正交
其中行空間與零空間正交，列空間與左零空間正交。
上圖表示的是，向量b在向量a上的投影。顯然有如下表示式：
其中，p為投影矩陣，由p的表示式可以看出，它具有如下性質：
投影矩陣性質說明（1）pt=p說明投影矩陣是乙個對稱陣。（2）p2=p即進行第二次投影時，還是回投影在第一次投影的地方。
三維投影，就是將乙個向量投影到乙個平面上。同上面一樣，假設是將b向量投影到平面上的p向量，則有表示式：
e是垂直與平面的向量。由於p向量在平面上，則p向量可以由該平面的2個線性無關向量(正如，在xy平面的任何向量都可以由x軸，y軸表示)表示：
由於e垂直平面，則e向量垂直與平面中的任意向量，則有：
將上式化簡求得x：
又因為p=ax，pb=p，則得到投影矩陣為：
p=a(ata)-1)at
由p的表示式可以看出，它具有如下性質：
上面的投影矩陣是通式，當投影在一維情況時，a即為直線上的任意乙個向量a,投影矩陣為：
與二維投影中得到的結論是一致的。
後續會把這個知識點應用到高光譜影象上，應用後會繼續記錄~
學習子空間投影上
三維空間裡面，要把點投影到乙個二維平面上，就需要這個知識了。b是任意向量,p是平面上的向量,e是垂直與p的向量 e b p 也就是誤差向量 ax b無解了，b不在那個平面上，這個就變成了ax p p就是最合適的乙個在平面上的點，是b在列空間的投影，x小寫代表新的x，a1 a2是平面任意線性無關向量 ...
正交向量與子空間
關於向量正交 orthogonality vector 我們都已不陌生，正交是垂直的另一種說法，兩個向量正交意味著這兩個向量的夾角為90度，如果要判斷兩個向量是否正交，只需對向量作點乘 dot product 相加，即內積，等於0就是正交的，如xty 0，則x和y是正交的，如果x是零向量，y任意或者...
正交向量與子空間
關於向量正交 orthogonality vector 我們都已不陌生，正交是垂直的另一種說法，兩個向量正交意味著這兩個向量的夾角為90度，如果要判斷兩個向量是否正交，只需對向量作點乘 dot product 相加，即內積，等於0就是正交的，如 將正交從向量推廣到子空間，定義子空間s和子空間t，如果...