對於乙個方陣（行數和列數相等的矩陣）a
aa，特徵向量就是指與a
aa相乘的乙個非零向量 ν
\nuν 等於這個非零向量的縮放，即aν=
λν
a\nu=\lambda\nu
aν=λ
ν其中，λ
\lambda
λ稱為特徵值，ν
\nuν a−
λi)ν
=0
(a-\lambda i)\nu=0
(a−λi)
ν=01、定義：將矩陣分解成一組特徵向量和特徵值。
2、特徵分解：
*****假設矩陣 a
aa 的特徵向量是
\,\cdots,\nu^ \}
，對應的特徵值為
\。*****令矩陣v=[
ν(1)
,⋯,ν
(n)]
v= [\nu^,\cdots,\nu^]
v=[ν(1
),⋯,
ν(n)
]，其中，每一列為乙個特徵向量；
*****令向量λ=[
λ1,⋯
,λn]
\lambda = [\lambda_1,\cdots,\lambda_n]
λ=[λ1
,⋯,λ
n]，其中，每乙個元素為乙個特徵值；
特徵分解記作：a=v
diag
(λ)v
−1
a=vdiag(\lambda)v^
a=vdia
g(λ)
v−1 其中，dia
gdiag
diag
表示的是對角矩陣
3、不是每乙個矩陣都可以被分解，但是每個實對稱矩陣都可以被分解成為特徵向量和實特徵值：
a =q
λq−1
a=q\lambda q^
a=qλq−
1 其中，q
qq是a
aa的特徵向量組成的正交矩陣，λ
\lambda
λ是對角矩陣。
4、有時候，特徵分解也不是唯一的，我們通常按照降序排列λ
\lambda
λ的元素，在這個約束下，特徵分解唯一
1、正定：所有特徵值都是整數的矩陣
2、半正定：所有特徵值都是非負數的矩陣
3、負定：所有矩陣都是負數的矩陣
4、半負定：所有矩陣都是非正數的矩陣
5、對於半正定矩陣，有以下規律，這也是它受到重視的原因：
∀ x,
xtax
≥0
\forall x,x^t ax\geq0
∀x,xta
x≥0對於正交矩陣，還有xta
x=0⟹
x=
0x^tax=0\implies x= 0
xtax=0
⟹x=0
1、對於非方陣的矩陣，它是沒有特徵分解的，所以這個時候我們只能使用奇異值分解。奇異值分解與特徵分解類似，它是將矩陣分為奇異向量和奇異值，對於矩陣a
aa，有：a=u
dv
ta = udv^t
a=udvt
其中，假設a
aa是乙個m×n
m \times n
m×n的矩陣，那麼u
uu是乙個m×m
m \times m
m×m的矩陣，d
dd是乙個m×n
m \times n
m×n的矩陣，v
vv是乙個n×n
n \times n
n×n的矩陣。其中，u
uu和v
vv是正交矩陣，d
dd是對角矩陣（不一定是方陣）。
2、對角矩陣d
dd的對角線上的元素成為矩陣a
aa的奇異值，矩陣u
uu的列向量為左奇異向量，矩陣v
vv的列向量稱為右奇異向量
機器學習 奇異值分解
奇異值分解是一種矩陣因子分解方法，是線性代數概念，但在統計學習中被廣泛使用，成為其重要工具 主要應用 在主成分分析 潛在語義分析上 奇異值分解的矩陣不需要是方陣，任意矩陣都可以進行分解，都可以表示為三個矩陣的乘積 因子分解 形式，分別是m階正交矩陣 由降序排列的非負對角線元素組成的m n矩形對角矩陣...
特徵值分解和奇異值分解
1.特徵值分解 evd 對於乙個實對稱矩陣a r n na in r a rn n 可以分解成以下形式 a q q ta q sigma q t a q qt 中q是乙個正交陣，qqt i qq t i qqt i，q qq的列向量為a aa的特徵向量，gamma 是乙個對角陣，對角元素是矩陣a a...
SVD奇異值分解 機器學習
簡介 奇異值分解 singular value decomposition 是線性代數中一種重要的矩陣分解，是在機器學習領域廣泛應用的演算法，它不光可以用於降維演算法中的特徵分解，還可以用於推薦系統，以及自然語言處理等領域。是很多機器學習演算法的基石。奇異值分解在資料降維中有較多的應用，這裡把它的原...