特徵值分解

一、特徵值與特徵向量的幾何意義

1. 矩陣乘法

在介紹特徵值與特徵向量的幾何意義之前，先介紹矩陣乘法的幾何意義。

矩陣乘法對應了乙個變換，是把任意乙個向量變成另乙個方向或長度的新向量。在這個變化過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某些向量只發生伸縮變換，不產生旋轉效果，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。

比如：

因為，這個矩陣乘以乙個向量(x,y)的結果是：

那麼如果矩陣m不是對稱的，比如：

這其實是在平面上對乙個軸進行的拉伸變換【如藍色箭頭所示】，在圖中藍色箭頭是乙個最主要的變化方向。變化方向可能有不止乙個，但如果我們想要描述好乙個變換，那我們就描述好這個變換主要的變化方向就好了。

2. 特徵值分解與特徵向量

如果說乙個向量v是方陣a的特徵向量，將一定可以表示成下面的形式：

λ為特徵向量 v 對應的特徵值。特徵值分解是將乙個矩陣分解為如下形式：

其中，q是這個矩陣a的特徵向量組成的矩陣，σ是乙個對角矩陣，每乙個對角線元素就是乙個特徵值，裡面的特徵值是由大到小排列的，這些特徵值所對應的特徵向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列）。也就是說矩陣a的資訊可以由其特徵值和特徵向量表示。

對於矩陣為高維的情況下，那麼這個矩陣就是高維空間下的乙個線性變換。可以想象，這個變換也同樣有很多的變換方向，我們通過特徵值分解得到的前n個特徵向量，那麼就對應了這個矩陣最主要的n個變化方向。我們利用這前

n個變化方向，就可以近似這個矩陣（變換）。

總結一下，特徵值分解可以得到特徵值與特徵向量，特徵值表示的是這個特徵到底有多重要，而特徵向量表示這個特徵是什麼。不過，特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。