矩陣論主要研究的
首先介紹的是線性空間，對於線性空間中的任意乙個向量的表示由基（相當於度量單位）和座標（相當於具體的尺度），基既然作為度量標準了，當然要求對每乙個向量都適用，同時這個標準本身也應該盡可能的簡潔，那麼就得到了基定義的兩點約束 １、基的組成向量線性無關；２、線性空間中的任乙個向量都可以由基的線性表示。
基作為一種「計量標準」，當然可能會存在多種形式，只要滿足上面的兩點條件，因而就有必要解決不同的度量標準之間的轉換關係，從而得到過渡矩陣的概念，同時可以使用這種轉換關係（過渡矩陣）去完成度量量（座標）之間的轉換。
在完成了線性空間這一物件的認識和表達之後，下面需要研究物件和物件之間的關係。這裡主要是線性變換，線性變換針對於實際物件主要完成類似於旋轉和尺度變換方面的操作，而這種操作也牽涉到表達的問題。為了保持與空間的一致性，我們也同樣是在在特定的基下來表示，從而線性變換就具體化為乙個變換矩陣，並且，在不同的基下對應的變換矩陣當然也不相同，這裡的不同的變換矩陣的關係就是相似的概念。
到此，我們完成了空間中向量的表示和線性變換的矩陣表達。這裡涉及了基、座標、過渡矩陣、變換矩陣、相似矩陣這幾個重要的概念。上面算是內涵上的認識，下面我們需要知道線性空間裡究竟有些什麼東西，它是如何組成的，各個組成成分之間的關係，也就是空間的結構性方面的東西。
首先認識子空間（空間的組成部分），當然既然也是空間，也就要滿足空間的加法和數乘的封閉性，要滿足那八條定律。後者可以由父空間保證，前面的就要子空間自身素質了。同時要看子空間之間的並、交、直和運算和相應的秩的關係。這裡提到了維數，就要多說幾句了，空間中的元素往往是連續過渡的，但是對於有限空間而言還有離散的性質，那就是維數，我稱其為「不伸則已，一伸則增一」，從這也就說明了為什麼可以用若干個子空間的直和可以等價於原線性空間。
子空間的形式很多，有生成子空間、值域空間、零空間和特徵子空間等等，我們重點看看特徵子空間。乙個空間可以劃分為若干個特徵子空間的直和形式，而每個特徵子空間的共同特徵就是具有相同的特徵值，範圍就是對應著這個特徵值的若干特徵向量的生成子空間。
為什麼要這樣劃分？因為我們在平時的研究中，整個線性空間太大了，我們需要縮小研究範圍，某乙個或幾個特徵子空間就夠了。或者是模式分類時，每乙個樣本點就屬於某個子空間，我們首先需要知道有哪些類，類的特點是什麼，這就是特徵子空間。當然對於協方差矩陣而言，特徵值還具有能量屬性，在清楚各個特徵子空間的位置，我們可以通過某些變換改變這些子空間的空間分布。在系統研究中，還可以在清楚特徵子空間分布後成功地實現系統或方程的解耦。呵呵，可能其用途很多很多，但關鍵的一點就是，我們必須認識空間的結構，在此基礎上再結合對應的物理空間或幾何空間的實際意義進行進一步的處理。
最原始的就是按座標收斂，不過那麼多的元素要收斂，太累了！怎麼辦呢？其實這從本質上來說是多元衡量尺度一元化的問題，於是就找出了範數的概念，用乙個範數來代替多個元素的收斂問題討論。不同矩陣範數的等價性保證了函式極限的一致性。在某種程度上範數成了距離的代名詞，但要注意的是範數的概念要比距離強得多（主要是增加了絕對齊次性），我們會用範數去表示不同樣本之間的距離，用範數去表示誤差程度，用範數去衡量許許多多的表示某種程度的量。
其實總結到此本來可以宣告結束，但是隨著計算技術的發展，諸如線性方程組求解、矩陣求逆等問題都需要一些補充內容：
1、矩陣分解（簡化方程求解）
2、廣義逆（病態矩陣和一般矩陣的求逆問題）不過其最小二乘性質還真好使。
3、特徵值估計（求高階的多項式方程可是要命的事，大概知道特徵值和特徵空間的位置對於一定的應用場合就可以了）
這就使我暫時對矩陣論的理解，呵呵，相對於一年前的對線性代數的理解要深刻得多了，在以後的研究實踐中會進一步豐富的。
矩陣論總結 1 特殊的矩陣
1 零矩陣 元素全為零的矩陣 2 行矩陣 只有一行的矩陣 3 列矩陣 只有一列的矩陣 4 方陣 行數和列數都等於n的矩陣 5 對角矩陣 主對角陣以外的元素都為零的方陣 6 單位矩陣 主對角線元素全為1，其餘元素全為零的方陣 表示為e或i 7 逆矩陣 設a是n階矩陣，若存在n階矩陣b使ab ba e，...
矩陣論 向量求導 微分和矩陣微分
複雜的矩陣函式求導。著名的matrix cookbook為廣大的研究者們提供了一本大字典，裡面有著各種簡單到複雜矩陣和向量的求導法則。矩陣求導有兩種布局，分子布局 numerator layout 和分母布局 denominator layout 為了闡明這兩種布局的區別，我們先來看最簡單的求導規則...
矩陣論（一）矩陣的特徵值
矩陣的特徵值刻畫矩陣的奇異性 反映矩陣所有對角元素的結構 刻畫矩陣的正定性。若n 1n 1 非零向量 u u 作為線性變換 a role presentation style position relative a a的輸入時，所產生的輸出與輸入只相差乙個比例因子 即 au u,u 0 role p...