1.什麼是奇異值分解
奇異值分解(singular value decomposition)是線性代數中一種重要的矩陣分解,奇異值分解則是特徵分解在任意矩陣上的推廣。奇異值分解在某些方面與對稱矩陣或hermite矩陣基於特徵向量的對角化類似。譜分析的基礎是對稱陣特徵向量的分解,而奇異值分解則是譜分析理論在任意矩陣上的推廣。
對稱矩陣(symmetric matrices)是指以主對角線為對稱軸,各元素對應相等的矩陣。
厄公尺特矩陣(hermitian matrix,又譯作「埃爾公尺特矩陣」或「厄公尺矩陣」),指的是自共軛矩陣。矩陣中每乙個第i行第j列的元素都與第j行第i列的元素的共軛相等。埃爾公尺特矩陣主對角線上的元素都是實數的,其特徵值也是實數。兩個實部相等,虛部互為相反數的複數互為共軛複數(conjugate complex number)。
2.奇異值分解的理論
假設m是乙個m×n階矩陣,其中的元素全部屬於域 k,也就是實數域或複數域。
如此則存在乙個分解使得
其中u是m×m階酉矩陣;σ是半正定m×n階對角矩陣;而v*,即v的共軛轉置,是n×n階酉矩陣。這樣的分解就稱作m的奇異值分解。σ對角線上的元素σi,其中σi即為m的奇異值。對於任意的奇異值分解,矩陣σ的對角線上的元素等於m的奇異值。u和v的列分別是奇異值中的左、右奇異向量。
對角矩陣(diagonal matrix)是乙個主對角線之外的元素皆為0的矩陣,常寫為diag(a1,a2,…,an) 。
酉矩陣:么正矩陣表示的就是厄公尺共軛矩陣等於逆矩陣。對於實矩陣,厄公尺共軛就是轉置,所以實正交表示就是轉置矩陣等於逆矩陣。實正交表示是么正表示的特例。
半正定矩陣是正定矩陣的推廣。實對稱矩陣a稱為半正定的,如果二次型x』ax半正定,即對於任意不為0的實列向量x,都有x』ax≥0。
正定矩陣
(1)廣義定義:設m是n階方陣,如果對任何非零向量z,都有zmz> 0,其中z表示z的轉置,就稱m為正定矩陣。
(2)狹義定義:乙個n階的實對稱矩陣m是正定的的條件是當且僅當對於所有的非零實係數向量z,都有zmz> 0。其中z表示z的轉置。
svd理論的幾何意義可以做如下的歸納:對於每乙個線性對映t: k → k,t把k的第i個基向量對映為k的第i個基向量的非負倍數,然後將餘下的基向量對映為零向量。對照這些基向量,對映t就可以表示為乙個非負對角陣。
3.svd的應用
(1)奇異值分解可以被用來計算矩陣的偽逆。
(2)平行奇異值,把頻率選擇性衰落通道進行分解。
(3)矩陣近似值,奇異值分解在統計中的主要應用為主成分分析(pca),一種資料分析方法,用來找出大量資料中所隱含的「模式」,它可以用在模式識別,資料壓縮等方面。
4.svd的數學公式
做特徵值分解,得到的特徵矩陣即為u和v;對特徵值開方,可以得到所有的奇異值。
例項:
5.svd涉及的特徵值分解evd
特徵分解,又稱譜分解(spectral decomposition)是將矩陣分解為由其特徵值和特徵向量表示的矩陣之積的方法。需要注意只有對可對角化矩陣才可以施以特徵分解。
6.matlab的實現
參考文獻:
(1)(2)
奇異值分解 SVD
最近不小心接觸到了svd,然後認真看下去之後發現這東西真的挺強大的,把乙個推薦問題轉化為純數學矩陣問題,看了一些部落格,把乙個寫個比較具體的博文引入進來,給自己看的,所以把覺得沒必要的就去掉了,博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常,非常,非常大的話題,它的英文是 singular value decomposition,一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...
奇異值分解(SVD)
svd是singular value decomposition的縮寫,是去除冗餘 資訊提取和資料約簡的強大工具。若a為p q實數矩陣,則存在p階正交矩陣u和q階正交矩陣v,使得 a u v 上式就是奇異值分解,其中p q矩陣 中,i,i 元素 i 0,i 1,2,3,min p,q 其他元素均為0...