a為n階矩陣，若數λ和n維非0列向量x滿足ax=λx，那麼數λ稱為a的特徵值，x稱為a的對應於特徵值λ的特徵向量。式ax=λx也可寫成( a-λe)x=0，並且|λe-a|叫做a 的特徵多項式。當特徵多項式等於0的時候，稱為a的特徵方程，特徵方程是乙個齊次線性方程組，求解特徵值的過程其實就是求解特徵方程的解。
求解過程：
計算行列式：
化簡可得：
得到特徵值：
單位矩陣為：
則有：
化簡可得：
得到：
若令：則得到特徵矩陣：
同理，當：
可得：
化得：若令：
則得到特徵矩陣：
經過數學上的推導的，我們就可以知道，特徵值對應的特徵向量就是理想中想取得正確的座標軸，而特徵值就等於資料在旋轉之後的座標上對應維度上的方差。
也就是說，直接求出矩陣a的特徵向量得出對應的特徵向量。我們就能找到旋轉後正確的座標軸。這個就是特徵值和特徵向量的乙個實際應用：「得出使資料在各個維度區分度達到最大的座標軸。」
所以，在資料探勘中，就會直接用特徵值來描述對應特徵向量方向上包含的資訊量，而某一特徵值除以所有特徵值的和的值就為：該特徵向量的方差貢獻率（方差貢獻率代表了該維度下蘊含的資訊量的比例）。
通常經過特徵向量變換下的資料被稱為變數的主成分，當前m個主成分累計的方差貢獻率達到乙個較高的百分數（如85%以上）的話，就保留著這m個主成分的資料。實現了對資料進行降維的目的。整個主成分分析的演算法原理也就是這個。
其實，特徵值和特徵向量在我們的生活中都是非常普遍的。
(1)可以用在研究物理、化學領域的微分方程、連續的或離散的動力系統中。例如，在力學中，慣量的特徵向量定義了剛體的主軸。慣量是決定剛體圍繞質心轉動的關鍵資料；
(2)數學生態學家用來**原始森林遭到何種程度的砍伐，會造成貓頭鷹的種群滅亡；
(3)著名的影象處理中的pca方法，選取特徵值最高的k個特徵向量來表示乙個矩陣，從而達到降維分析+特徵顯示的方法，還有影象壓縮的k-l變換。再比如很多人臉識別，資料流模式挖掘分析等方面。
(4)在譜系圖論中，乙個圖的特徵值定義為圖的鄰接矩陣a的特徵值，或者（更多的是）圖的拉普拉斯運算元矩陣，google的pagerank演算法就是乙個例子。
有一句話說得好：「只要有振動就有特徵值，即振動的自然頻率」。
特徵向量與特徵值
在看線性代數這一部分的時候，真是一頭霧水。雖然明白了特徵值和特徵向量的求法，但總覺得沒有用。在 理解矩陣 一文中，雖然提到了這與矩陣的本質有關，但並未詳細提及，但我知道了一定具有一定的幾何意義。後來，檢視了 特徵向量的幾何意義 一文，才明白了。特別是wikipedia中關於 特徵向量 的文章，終於對...
特徵值與特徵向量
我們知道，矩陣乘法對應了乙個變換，是把任意乙個向量變成另乙個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉 伸縮的變化。如果矩陣對某乙個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。實際上，上述的一段話既講...
特徵值與特徵向量
矩陣與向量的乘法可以理解為變換 投影，變換分為旋轉變換與伸縮變換，投影可以是低維向高維的投影，也可以是高維向低維的投影。因此，方陣與向量的乘法只有變換操作，乙個行數大於列數的矩陣與向量的乘法包含了變換以及維度的提高，乙個行數小於列數的矩陣與向量的乘法則是維數的降低。方陣的矩陣乘法對應了一種變換，將乙...