從定義出發，ax=cx：a為矩陣，c為特徵值，x為特徵向量。
矩陣a乘以x表示，對向量x進行一次轉換（旋轉或拉伸）（是一種線性轉換），而該轉換的效果為常數c乘以向量x（即只進行拉伸）。
我們通常求特徵值和特徵向量即為求出該矩陣能使哪些向量（當然是特徵向量）只發生拉伸，使其發生拉伸的程度如何（特徵值大小）。這樣做的意義在於，看清乙個矩陣在那些方面能產生最大的效果（power），並根據所產生的每個特徵向量（一般研究特徵值最大的那幾個）進行分類討論與研究。
更新與2015.12.02 今天無意中看到了這篇介紹，感覺講的很清晰，特與大家分享！
連線：大學中都學過矩陣，是不是矩陣感覺很抽象，晦澀難懂，和生活實際掛不上邊，其中矩陣有乙個叫特徵向量的東西，只要學過矩陣的，都會求它，但是他是做什麼的，書本上卻沒說，只是說相當有用，但是在何處用，大家只能說 i do not know ,這裡給大家說明下，特徵向量的幾何意義，讓大家一目了然
工具/原料
紙 筆
記得帶著腦子哦
方法/步驟
如果說乙個向量v是方陣a的特徵向量，將一定可以表示成下面的形式：
這時候λ就被稱為特徵向量v對應的特徵值，乙個矩陣的一組特徵向量是一組正交向量。特徵值分解是將乙個矩陣分解成下面的形式：
其中q是這個矩陣a的特徵向量組成的矩陣，σ是乙個對角陣，每乙個對角線上的元素就是乙個特徵值。首先，要明確的是，乙個矩陣其實就是乙個線性變換，因為乙個矩陣乘以乙個向量後得到的向量，其實就相當於將這個向量進行了線性變換。比如說下面的乙個矩陣：
它其實對應的線性變換是下面的形式：
因為這個矩陣m乘以乙個向量(x,y)的結果是：
上面的矩陣是對稱的，所以這個變換是乙個對x，y軸的方向乙個拉伸變換（每乙個對角線上的元素將會對乙個維度進行拉伸變換，當值》1時，是拉長，當值<1時時縮短），當矩陣不是對稱的時候，假如說矩陣是下面的樣子：
它所描述的變換是下面的樣子：
這其實是在平面上對乙個軸進行的拉伸變換（如藍色的箭頭所示），在圖中，藍色的箭頭是乙個最主要的變化方向（變化方向可能有不止乙個），如果我們想要描述好乙個變換，那我們就描述好這個變換主要的變化方向就好了。反過頭來看看之前特徵值分解的式子，分解得到的σ矩陣是乙個對角陣，裡面的特徵值是由大到小排列的，這些特徵值所對應的特徵向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列）
當矩陣是高維的情況下，那麼這個矩陣就是高維空間下的乙個線性變換，這個線性變化可能沒法通過來表示，但是可以想象，這個變換也同樣有很多的變換方向，我們通過特徵值分解得到的前n個特徵向量，那麼就對應了這個矩陣最主要的n個變化方向。我們利用這前n個變化方向，就可以近似這個矩陣（變換）。也就是之前說的：提取這個矩陣最重要的特徵。總結一下，特徵值分解可以得到特徵值與特徵向量，特徵值表示的是這個特徵到底有多重要，而特徵向量表示這個特徵是什麼，可以將每乙個特徵向量理解為乙個線性的子空間，我們可以利用這些線性的子空間幹很多的事情。不過，特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。
注意事項
最後乙個條是關鍵，一定要仔細看
在此基礎上理解pca就方便了許多。
特徵值與特徵向量幾何意義
1.特徵值和特徵向量的幾何意義是什麼？特徵向量的幾何意義 特徵向量確實有很明確的幾何意義，矩陣 既然討論特徵向量的問題，當然是方陣，這裡不討論廣義特徵向量的概念，就是一般的特徵向量 乘以乙個向量的結果仍是同維數的乙個向量，因此，矩陣乘法對應了乙個變換，把乙個向量變成同維數的另乙個向量，那麼變換的效果...
特徵向量與特徵值
在看線性代數這一部分的時候，真是一頭霧水。雖然明白了特徵值和特徵向量的求法，但總覺得沒有用。在 理解矩陣 一文中，雖然提到了這與矩陣的本質有關，但並未詳細提及，但我知道了一定具有一定的幾何意義。後來，檢視了 特徵向量的幾何意義 一文，才明白了。特別是wikipedia中關於 特徵向量 的文章，終於對...
特徵值與特徵向量
我們知道，矩陣乘法對應了乙個變換，是把任意乙個向量變成另乙個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉 伸縮的變化。如果矩陣對某乙個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。實際上，上述的一段話既講...