特徵向量的幾何含義

來自

長時間以來一直不了解矩陣的特徵值和特徵向量到底有何意義（估計很多兄弟有同樣感受）。知道它的數學公式，但卻找不出它的幾何含義，教科書裡沒有真正地把這一概念從各種角度例項化地進行講解，只是一天到晚地列公式玩理論——有個屁用啊。

根據特徵向量數學公式定義，矩陣乘以乙個向量的結果仍是同維數的乙個向量，因此，矩陣乘法對應了乙個變換，把乙個向量變成同維數的另乙個向量，那麼變換的效果是什麼呢？這當然與方陣的構造有密切關係，比如可以取適當的二維方陣，使得這個變換的效果就是將平面上的二維向量逆時針旋轉30度，這時我們可以問乙個問題，有沒有向量在這個變換下不改變方向呢？可以想一下，除了零向量，沒有其他向量可以在平面上旋轉30度而不改變方向的，所以這個變換對應的矩陣(或者說這個變換自身)沒有特徵向量(注意：特徵向量不能是零向量)，所以乙個變換的特徵向量是這樣一種向量，它經過這種特定的變換後保持方向不變，只是進行長度上的伸縮而已(再想想特徵向量的原始定義ax=cx, cx是方陣a對向量x進行變換後的結果，但顯然cx和x的方向相同)。

這裡給出乙個特徵向量的簡單例子，比如平面上的乙個變換，把乙個向量關於橫軸做映象對稱變換，即保持乙個向量的橫座標不變，但縱座標取相反數，把這個變換表示為矩陣就是[1 0;0 -1]（分號表示換行），顯然[1 0;0 -1]*[a b]'=[a -b]'（上標'表示取轉置），這正是我們想要的效果，那麼現在可以猜一下了，這個矩陣的特徵向量是什麼?想想什麼向量在這個變換下保持方向不變，顯然，橫軸上的向量在這個變換下保持方向不變(記住這個變換是映象對稱變換，那鏡子表面上(橫軸上)的向量當然不會變化)，所以可以直接猜測其特徵向量是[a 0]'（a不為0），還有其他的嗎？有，那就是縱軸上的向量，這時經過變換後，其方向反向，但仍在同一條軸上，所以也被認為是方向沒有變化，所以[0 b]'（b不為0）也是其特徵向量。

綜上，特徵值只不過反映了特徵向量在變換時的伸縮倍數而已，對乙個變換而言，特徵向量指明的方向才是很重要的，特徵值似乎不是那麼重要；但是，當我們引用了spectral theorem（譜定律）的時候，情況就不一樣了。

spectral theorem的核心內容如下：乙個線性變換（用矩陣乘法表示）可表示為它的所有的特徵向量的乙個線性組合，其中的線性係數就是每乙個向量對應的特徵值，寫成公式就是：

從這裡我們可以看出，乙個變換（矩陣）可由它的所有特徵向量完全表示，而每乙個向量所對應的特徵值，就代表了矩陣在這一向量上的貢獻率——說的通俗一點就是能量（power），至此，特徵值翻身做主人，徹底掌握了對特徵向量的主動：你所能夠代表這個矩陣的能量高低掌握在我手中，你還吊什麼吊？

我們知道，乙個變換可由乙個矩陣乘法表示，那麼乙個空間座標系也可視作乙個矩陣，而這個座標系就可由這個矩陣的所有特徵向量表示，用圖來表示的話，可以想象就是乙個空間張開的各個座標角度，這一組向量可以完全表示乙個矩陣表示的空間的「特徵」，而他們的特徵值就表示了各個角度上的能量（可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的「特徵」就越強，或者說顯性，而短軸自然就成了隱性特徵），因此，通過特徵向量/值可以完全描述某一幾何空間這一特點，使得特徵向量與特徵值在幾何（特別是空間幾何）及其應用中得以發揮。

關於特徵向量（特別是特徵值）的應用實在是太多太多，近的比如俺曾經提到過的pca方法，選取特徵值最高的k個特徵向量來表示乙個矩陣，從而達到降維分析+特徵顯示的方法；近的比如google公司的成名作pagerank，也是通過計算乙個用矩陣表示的圖（這個圖代表了整個web各個網頁「節點」之間的關聯）的特徵向量來對每乙個節點打「特徵值」分；再比如很多人臉識別，資料流模式挖掘分析等方面，都有應用，有興趣的兄弟可以參考ibm的spiros在vldb『 05，sigmod 』06上的幾篇文章。

特徵向量不僅在數學上，在物理，材料，力學等方面（應力、應變張量）都能一展拳腳，有老美曾在一本線代書裡這樣說過「有振動的地方就有特徵值和特徵向量」，確實令人肅然起敬+毛骨悚然......

特徵向量的幾何含義

特徵向量的幾何含義

特徵向量的幾何含義

特徵值和特徵向量的幾何含義理解

相關推薦