標量：乙個標量就是乙個單獨的數，它不同於線性代數中研究的其他 大部分物件（通常是多個數的陣列）。
向量：乙個向量是一列數。這些數是有序排列的。通過次序中的索 引，我們可以確定每個單獨的數。
x =[
x1x2
..xn
]x=\begin x_1 \\ x_2 \\.\\. \\ x_n\end
x=⎣⎢⎢⎢
⎢⎡x
1x2
..x
n⎦
⎥⎥⎥⎥
⎤矩陣：矩陣是乙個二維陣列，其中的每乙個元素被兩個索引（而非 乙個）所確定。
[ a1
,1a1
,2a2
,1a2
,2
]\begin a_&a_\\a_&a_\end
[a1,1
a2,1
a1
,2a
2,2
]張量：在某些情況下，我們會討論座標超過兩維的陣列。一般地，一 個陣列中的元素分布在若干維座標的規則網格中，我們稱之為張量。
比如張量 a
aa 中的座標為 (i,
j,k)
(i,j,k)
(i,j,k
) 的元素記作 ai,
j,ka_
ai,j,k
。轉置：是矩陣的重要操作之一，將矩陣的行列互換得到的新矩陣稱為轉置矩陣。
( at
)i,j
=aj,
i(a^t)_=a_
(at)i,
j=a
j,i
兩個矩陣 a
aa 和 b
bb 的矩陣乘積，其中矩陣 a
aa 的列數必須和矩陣 b
bb 的行數相等。c=a
bc=ab
c=ab
乘法操作為ci,
j=∑k
ai,k
bk,j
c_=\sum\limits_ a_b_
ci,j=
k∑a
i,k
bk,j
注意，兩個矩陣的標準乘積不是指兩個矩陣中對應元素的乘積。不過那樣的矩陣乘積確實存在，稱為元素對應乘積（element-wise product）或者hadamard 乘積（hadamard product），
記做a ⨀b
a\bigodot b
a⨀b單位矩陣：任意向量和單位矩陣相乘都不會改變。比如i
3i_3
i3：
[ 10
0010
001]
\begin 1&0&0\\0&1&0\\0&0&1\end
⎣⎡100
010
001
⎦⎤
逆矩陣：a−1
a=in
a^a=i_n
a−1a=i
n若存在式子 ax=
bax=b
ax=b
，我們可以利用逆矩陣這個工具求得x=a
−1
bx=a^b
x=a−1b
當然，前提是 a−1
a^a−
1 存在。
線性組合：ax=
∑ixi
a:,i
ax=\sum\limits_x_ia_
ax=i∑
xia
:,i
如果一組向量中 的任意乙個向量都不能表示成其他向量的線性組合，那麼這組向量稱為線性無關 （linearly independent）
學習筆記 線性代數基礎
注 下文若不宣告，統一為三維向量。定義 一般地，向量為一條從原點出發的一條有向線段。通過終止點的座標來表示 beginx y z end 性質 加法 vec vec beginx 1 y 1 z 1 end beginx 2 y 2 z 2 end begin x 1 x 2 y 1 y 2 z 1...
深度學習數學基礎之線性代數
深度學習中的基本資料結構，基本上都是用向量或矩陣表示的，因此 深度學習的基礎學科之一 就是線性代數。深度學習中的線性代數知識主要包括以下部分 1 標量 向量 矩陣和張量 這4個變數很好理解 分別表示 乙個數 一維空間 一條線 二維 乙個平面 多於二維 立體或超立體等 2 矩陣的乘法和內積 這個在深度...
筆記 深度學習 Chapter2 線性代數
在機器學習中，通常使用範數 no rmn or m 來衡量向量的大小.lp norm l pn or m的公式為 x p i xi p 1 p x p i xi p 1 p 直觀地看，範數是向量x x 到原點的距離 p 1 p 1時，稱為曼哈頓距離，p 2 p 2時，稱為歐幾里得距離。嚴格來講，範數...