矩陣
svd
矩陣的乘法
狀態轉移矩陣
狀態轉移矩陣
特徵值和特徵向量
對稱陣
正交陣
正定陣資料白化
矩陣求導
向量對向量求導
標量對向量求導
標量對矩陣求導
一.矩陣
1.1 svd
奇異值分解（singular value decomposition），假設a是乙個m×n階矩陣，則存在乙個分解使得
。而且奇異值的減少特別的快，在很多情況下，
前10%甚至1%的奇異值的和就佔了全部的奇異值之和的99%以上了
。也就是說，我們也可以用前r大的奇異值來近似描述矩陣，那麼svd就起到乙個特徵選擇的作用或者是降維的作用。
1.2 代數余子式
在乙個n階行列式a中,把(i,j)元素aij所在的第i 行和第j列劃去後，留下的n-1階方陣的行列式叫做元素aij的余子式，記作mij
注意：行列式是數值，因此余子式和代數余子式也是數值；余子式可能也可能是負數。
1.3 伴隨矩陣
注意：1.4 方陣的逆
當方陣的行列式不為0時，有：
如果不是方正，請參考矩陣的廣義逆
1.5 範德蒙行列式
1.6 矩陣的乘法a為m
∗sm∗s階的矩陣，bb為s
∗ns∗n階的矩陣，那麼，c=a
∗bc=a∗b是m∗
nm∗n
階的矩陣，其中ci
j=∑k
=1sa
ijbk
jcij=∑k=1saijbkj
1.7 矩陣和向量的乘法a為m
∗nm∗n階的矩陣，xx為n
∗1n∗1階的矩陣，則axax
為m∗1m∗1
的列向量，記y⃗=
a⋅x⃗
y→=a·x→
由於nn
維列向量和n維空間的點一一對應，上式實際給出了從n
n維空間的點到m
m維空間的的線性變換。
1.8 狀態轉移矩陣
π（只是乙個向量）
- 第n+1
n+1代中處於第j
j個階層的概率為： π(
xn+1
=j)=
∑i=1
kπ(x
n=i)
⋅p(x
n+1=
j|xn
=i)π(xn+1=j)=∑i=1kπ(xn=i)·p(xn+1=j|xn=i)
=>πn
+1=π
n⋅p=>πn+1=πn·p
原理：全概率公式：
∗nm∗n的矩陣a中，任取kk行k
k列，不改變這k2k2
個元素在a
a中的次序，得到k
k階方陣，稱為矩陣a
a的k階子式。
設在矩陣a中有乙個不等於00的r
r階子式d
d，且所有r+1
r+1階子式全等於0
0（如果存在的話），那麼d
d稱為矩陣a
a的最高端非零子式，r
r稱為矩陣a
a的秩，記作r(a
)=rr(a)=r
1.91 秩和線性方程組的解的關係
對於n元線性方程組ax = b：
向量b能由向量組a:
a1,a
2,..
.,am
a:a1,a2,...,am
線性表示的充
要條件是矩陣a=
(a1,
a2,.
..am
)a=(a1,a2,...am)
的秩等於矩陣 b=
(a1,
a2,.
..am
,b)b=(a1,a2,...am,b)
的秩。因為有解的條件是秩相等。b=
(a1,
a2,.
..am
,b)b=(a1,a2,...am,b)
= (λ1
a1,λ
2a2,
...λ
nam)
(λ1a1,λ2a2,...λnam)
參考：二.特徵值和特徵向量
n階矩陣a滿足ata
=iata=i
,稱a為正交矩陣，簡稱正交陣。 aa
是正交陣，x為向量，則ax稱作正交變換。
a是n階矩陣，若數λλ推論：和n維非0列向量滿足ax
=λxax=λx
，那麼，數稱為a的特徵向值，x稱為a的對應於特徵值的λλ
特徵向量。
不同特徵值對應的特徵向量，線性無關。
實對稱陣的特徵值也是實數。
2.3 合同變換
設a為n階對稱陣，則必有正交陣p，使得
2.4.正定陣
n階方陣a
a，若任意n
n階向量x
x，都有xta
x>
0xtax>0
，則稱a
a是正定陣。
三. 矩陣求導
矩陣 Matrices 線性代數
矩陣 在數學中，矩陣 matrix 是乙個按照長方陣列排列的複數或實數集合 矩陣相加 通常的矩陣加法被定義在兩個相同大小的矩陣 矩陣乘法 矩陣和向量的乘法 如圖 m n 的矩陣乘以 n 1 的向量，得到的是 m 1 的向量 矩陣乘法 m n 矩陣乘以 n o 矩陣，變成 m o 矩陣。矩陣乘法的性質...
線性代數 矩陣相乘
線性代數 矩陣相乘1 矩陣相乘 2 include 3using namespace std 45 6int main 7 矩陣c 結果矩陣 13 cout 請輸入矩陣a的行數和列數 14 cin am an 15 cout 請輸入矩陣b的行數和列數 16 cin bm bn 17if an bm ...
線性代數 矩陣乘法和逆矩陣
逆矩陣 本節是網易公開課上的麻省理工大學線性代數課程第三節 矩陣乘法和逆矩陣 的學習筆記。矩陣相乘，並不一定要求是方陣。如果矩陣a是乙個 mxn 的矩陣 m行，n列 則矩陣b必須是乙個 nxp n行，p列 的矩陣，這樣兩者才能相乘，相乘的結果矩陣c是乙個 mxp m行，p列 的矩陣。假設 ab c ...