1笛卡爾積(x,
y)∈x
×y
(x, y) \in \mathcal \times \mathcal
(x,y)∈
x×y
假設集合a=，集合b=，則兩個集合的笛卡爾積為。x×y
\mathcal \times \mathcal
x×y 就是乙個集合。
2矩陣外積（矩陣相乘）
矩陣外積也就是矩陣的乘積，
a =[
a11a12
a21a22
],b=
[b11b
12b21b
22]
a=\left[\begina_ & a_ \\ a_ & a_\end\right], b=\left[\beginb_ & b_ \\ b_ & b_\end\right]
a=[a11
a21
a1
2a2
2]
,b=[
b11
b21
b12
b22
]，
則 a ⋅b
=[a11
b11+a
12b21a
11b12+
a12b22
a21b11
+a22b
21a21b
12+a22
b22
]a \cdot b=\left[\begina_ b_+a_ b_ & a_ b_+a_ b_ \\ a_ b_+a_ b_ & a_ b_+a_ b_\end\right]
a⋅b=[a
11b
11+
a12
b21
a21
b11
+a22
b21
a1
1b1
2+a
12b
22a
21b
12+
a22
b22
]參考資料：
1. 矩陣的內積、外積
2矩陣內積（元素相乘）
矩陣內積就是是矩陣對應元素乘積之和，結果是乙個值。因此要求兩矩陣必須是同型矩陣
例如：
a =[
a11a12
a21a22
],b=
[b11b
12b21b
22]
a=\left[\begina_ & a_ \\ a_ & a_\end\right], b=\left[\beginb_ & b_ \\ b_ & b_\end\right]
a=[a11
a21
a1
2a2
2]
,b=[
b11
b21
b12
b22
],
則 a ⊙b
=a11×
b11+a
12×b12
+a21×
b21+a
22×b22
a \odot b=a_ \times b_+a_ \times b_+a_ \times b_+a_ \times b_
a⊙b=a1
1×b
11+
a12
×b12
+a2
1×b
21+
a22
×b22
參考資料：
1. 矩陣的內積、外積21
矩陣的負二分之一次方 σ−1
/2
\sigma^
σ−1/
2 怎麼求？
先特徵分解σ=u
λv
\sigma=u\lambda v
σ=uλ
v，再對中間的對角矩陣求λ−1
/2
\lambda^
λ−1/
2，最後σ−1
/2=u
λ−1/
2v
\sigma^=u\lambda^ v
σ−1/2=
uλ−1
/2v2
矩陣的條件數（condition number）
1. 條件數是幹啥的：condition number是用來衡量當輸入發生微小變化的時候，輸出會發生多大的變化。也就是系統對微小變化的敏感度。我們以 ax⃗
=b
a\vec x=b
ax=b
這個系統為例，x
⃗\vec x
x 表示輸入，b
bb 表示輸出。參考鏈結
2. condition num如何計算。
κ (a
)=∥a
∥∥a−
1∥
κ(a)=∥
a∥∥∥
a−1
∥∥ 其中，∥⋅∥
\|·\|
∥⋅∥表示矩陣的範數，比較常用的 l2l2
l2範數。
3. 從線性代數的分析可知，矩陣的條件數總是大於1，正交矩陣的條件數等於1，奇異矩陣的條件數為無窮大，而病態矩陣的條件數則為比較大的資料（遠大於1）。也就是說奇異矩陣一定是病態的！參考鏈結
3fisher資訊矩陣（fim）
natural gradient筆記
【翻譯】what is the natural gradient, and how does it work?
知乎-如何理解 natural gradient descent?序號1
方陣的跡等於 方陣特徵值之和
tr (
a)=∑
k=1n
λk
\operatorname(a)=\sum_^ \lambda_
tr(a)=
∑k=1
nλk
23
機器學習中的數學知識 線性代數
1 矩陣叉乘 內積 矩陣的乘法就是矩陣a的第一行乘以矩陣b的第一列，各個元素對應相乘然後求和作為第一元素的值。矩陣只有當左邊矩陣的列數等於右邊矩陣的行數時,它們才可以相乘,乘積矩陣的行數等於左邊矩陣的行數,乘積矩陣的列數等於右邊矩陣的列數 2.矩陣點乘 外積 矩陣點乘是對應位置相乘，表徵向量的對映。...
numpy學習之前的必要數學知識 線性代數
主要內容 1.行列式的定義及性質 2.行列式的展開公式 1.排列和逆序 排列 由n個數1,2,n組成的乙個有序陣列稱為乙個n級排列,n級排列共有n 個 逆序 在乙個排列中,如果乙個大的數排在了乙個小的數前面,就稱這兩個數構成了乙個逆序 逆序數 在乙個排列i1,i2,in中,逆序的總數稱為該排列的逆序...
機器學習需要的線性代數知識
ax b的最小二乘解為x r 1 qtb，其中qr為因式分解矩陣，解x可用回代法求解rx qt b得到使用多項式進行資料擬合以及逼近連續函式可通過選取逼近函式的一組正交基進行簡化 多項式序列p0 x p1 x 下標就是最高次數，如果i x pj x 0，則成為正交多項式序列，如果i pj 1，則叫規...