特徵值和特徵向量

特徵向量和特徵值在計算機視覺和機器學習中有許多重要的應用。眾所周知的例子是pca（主成分分析）進行降維或人臉識別是特徵臉。特徵向量和特徵值的乙個有趣應用在我的另一篇有關誤差橢圓的博文中提到。此外，特徵值分解形成協方差矩陣幾何解釋的基礎。在這篇文章中，我將簡單的介紹這個數學概念，並且展示如何手動獲取二維方形矩陣的特徵值分解。

特徵向量是乙個向量，當在它上面應用線性變換時其方向保持不變。考慮下面的影象，其中三個向量都被展示出來。綠色正方形僅說明施加到這三個向量上的線性變換。

在這種情況下變換僅僅是水平方向乘以因子2和垂直方向乘以因子0.5，使得變換矩陣a定義為：

通過應用這個變換向量

在一般情況下，特徵向量矩陣a的特徵向量

其中λ是所謂的「特徵值」的乙個標量值。這意味著，向量

我們可以重寫（1）式為：

其中i是和矩陣a有相同維數的單位矩陣。

然而，假定

在下面的章節中我們將通過解等式（3）來確定矩陣a的特徵向量和特徵值。這個例子中的矩陣a被定義為：

為了確定這個例子中的特徵值，我們將等式（4）代入到等式（3）中的矩陣a，得到：

計算行列式：

為了解決λ的二次方程，我們找到了判別式：

由於判別式嚴格為正，這意味著對於λ有兩個不同的值：

現在我們已經確定了兩個特徵值λ1和λ2。需要注意的是大小為nxn的方陣總是具有n個特徵值，每乙個對應乙個特徵向量。特徵值指定特徵向量的大小。

現在，我們可以將等式（7）的特徵值代入到等式（1）來確定特徵向量。然後通過求解方程組得到特徵向量。

我們首先對特徵值λ1求解其對應的特徵向量：

由於這僅僅是方程組的矩陣符號，我們可以寫出它的等價形式：

並解決了用x12的乙個函式解決了第乙個等式：

因為特徵向量僅僅代表乙個方向（相應特徵值表示幅度），特徵向量的所有標量倍數是平行於該特徵向量的向量，因此它們是等效的（如果我們標準化向量，它們將是相等的）。因此，進一步求解上面的方程組，我們可以自由地選擇了x11或x12的真實值，並用等式（9）來確定另乙個。

對於這個例子，我們隨意地選擇x12= 1，使得x11=-1。因此，對應於特徵值λ的特徵向量是

計算第二個特徵向量類似於第一特徵向量。我們現在將λ2= 4代入等式（1），得到：

寫成方程組的形式：

用x21的函式式解決第乙個等式得到：

然後，我們隨意地選擇x21= 2，並發現x22= 3。因此，對應於特徵值λ2=4的特徵向量是：

在這篇文章中，我們回顧了特徵值和特徵值的理論概念。這些概念對於計算機視覺和機器學習中使用的許多技術非常重要，例如用主成分分析來降維，或用特徵臉進行臉部識別。

特徵值和特徵向量

特徵值和特徵向量

特徵值和特徵向量

特徵值和特徵向量

相關推薦