一、奇異值與特徵值基礎知識：
特徵值分解和奇異值分解在機器學習領域都是屬於滿地可見的方法。兩者有著很緊密的關係，我在接下來會談到，特徵值分解和奇異值分解的目的都是一樣，就是提取出乙個矩陣最重要的特徵。先談談特徵值分解吧：
1）特徵值：
如果說乙個向量v是方陣a的特徵向量，將一定可以表示成下面的形式：
這時候λ就被稱為特徵向量v對應的特徵值，乙個矩陣的一組特徵向量是一組正交向量。特徵值分解是將乙個矩陣分解成下面的形式：
其中q是這個矩陣a的特徵向量組成的矩陣，σ是乙個對角陣，每乙個對角線上的元素就是乙個特徵值。我這裡引用了一些參考文獻中的內容來說明一下。首先，要明確的是，乙個矩陣其實就是乙個線性變換，因為乙個矩陣乘以乙個向量後得到的向量，其實就相當於將這個向量進行了線性變換。比如說下面的乙個矩陣：
它所描述的變換是下面的樣子：
這其實是在平面上對乙個軸進行的拉伸變換（如藍色的箭頭所示），在圖中，藍色的箭頭是乙個最主要的變化方向（變化方向可能有不止乙個），如果我們想要描述好乙個變換，那我們就描述好這個變換主要的變化方向就好了。反過頭來看看之前特徵值分解的式子，分解得到的σ矩陣是乙個對角陣，裡面的特徵值是由大到小排列的，這些特徵值所對應的特徵向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列）
當矩陣是高維的情況下，那麼這個矩陣就是高維空間下的乙個線性變換，這個線性變化可能沒法通過來表示，但是可以想象，這個變換也同樣有很多的變換方向，我們通過特徵值分解得到的前n個特徵向量，那麼就對應了這個矩陣最主要的n個變化方向。我們利用這前n個變化方向，就可以近似這個矩陣（變換）。也就是之前說的：提取這個矩陣最重要的特徵。總結一下，特徵值分解可以得到特徵值與特徵向量，特徵值表示的是這個特徵到底有多重要，而特徵向量表示這個特徵是什麼，可以將每乙個特徵向量理解為乙個線性的子空間，我們可以利用這些線性的子空間幹很多的事情。不過，特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。
（說了這麼多特徵值變換，不知道有沒有說清楚，請各位多提提意見。）
矩陣特徵值 特徵向量 奇異值
1.特徵值與奇異值的主要區別兩者的主要區別在於 奇異值分解主要用於資料矩陣，而特徵植分解主要用於方型的相關矩陣。自相關矩陣正定時，特徵值分解是奇異值分解的特例，且實現時相對簡單些。2.定義 一矩陣a作用與一向量a，結果只相當與該向量乘以一常數 即a a a，則a為該矩陣a的特徵向量，為該矩陣a的特徵...
特徵值分解和奇異值分解
1.特徵值分解 evd 對於乙個實對稱矩陣a r n na in r a rn n 可以分解成以下形式 a q q ta q sigma q t a q qt 中q是乙個正交陣，qqt i qq t i qqt i，q qq的列向量為a aa的特徵向量，gamma 是乙個對角陣，對角元素是矩陣a a...
特徵向量與特徵值
在看線性代數這一部分的時候，真是一頭霧水。雖然明白了特徵值和特徵向量的求法，但總覺得沒有用。在 理解矩陣 一文中，雖然提到了這與矩陣的本質有關，但並未詳細提及，但我知道了一定具有一定的幾何意義。後來，檢視了 特徵向量的幾何意義 一文，才明白了。特別是wikipedia中關於 特徵向量 的文章，終於對...