標量：scalar,是乙個單獨的數
向量：vector,是一列有序的數.方括號包圍的縱列，每個元素有乙個索引。
矩陣：matrix,二維陣列，每個元素由兩個索引組成。aij處於i行j列。
張量：tensor,超過二維的陣列。
標量和矩陣的運算：
向量和矩陣的運算：將向量隱式的複製到很多位置的方式成為廣播（broadcasting)
矩陣a、b、c有c=ab，
a(m*n)、b(n*p),則c(m*p)
矩陣乘積滿足分配律a*(b+c)=a*b+a*c
結合律a*(b*c)=a*b*c
但是不滿足交換律a*b≠b*a
單位矩陣in(identity matrix),沿主對角線元素是1，其餘位置元素都是0.
矩陣和它的逆矩陣相乘得到單位矩陣。
乙個n維向量x和單位矩陣的乘積還是它本身x。
a是矩陣，x是列 向量。對於ax=b，（a：m*n, x：n維空間, b:m維空間)如果有解，向量的線性組合。如果要讓ax=b有解，n≥m
加入a是乙個3*2的矩陣 ，目標 b是3維的，而x只有2維，那麼只能得到三維空間的乙個 二維平面，當且僅當b在這個二維平面上時，該方程有解。
n≥m是必要條件，但不是充分條件，因為有的列向量是冗餘的，（如果兩個列向量相同，那麼他們表示的矩陣列空間是一樣的，這種冗餘稱為線性 相關）。如果一組向量中的任何乙個列向量都不能表示成其他列向量的線性組合，就稱這組向量稱為線性無關。那麼，如果乙個矩陣的列空間涵蓋rm，那麼它至少有m個線性無關的列向量。
一組向量的生成子空間span,是原始向量線性組合後能抵達點的組合 。
矩陣可逆的條件：矩陣必須是乙個方陣，m=n，所有列向量都是線性無關的。
2.5 範數 norm
機器學習中用範數來衡量向量的大小
2範數又稱歐幾里得範數，表示原點到向量的距離。倒數與整個向量有關，但是在原點附近增長緩慢。在機器學習 應用中，區分 恰好是零和零附近很小的元素是很重要的，這時候1範數比較好用--斜率相同，與x增長速度相同。
有時候用非零元素的個數衡量向量的大小，因為非零元素縮放a倍並不會改變非零元素數目，因此常用1範數表示非零元素數目的替代函式。
最大範數（max norm)表示向量中具有最大幅度的元素絕對值。
frobenius norm：針對矩陣而言 ，模擬二範數。
2.6 特殊型別的矩陣和向量
對角矩陣（diagonal matrix)只有主對角線元素非零，區分於單位矩陣--對角線元素全1，其他位置全0.
並非所有對角矩陣都是方陣，非方陣的對角矩陣不存在逆矩陣。
對稱（symmetric)是矩陣轉製和自己相等的矩陣。某些不依賴引數順序的雙引數函式 生成元素時，會出現對稱矩陣，aij=aji.
2.7 特徵分解
將矩陣分解成一組特定的向量和特徵值。
深度學習筆記（二）第二章 線性代數
標量 scalars 向量 vector 矩陣 matrix 矩陣和向量乘法 hadamard積 a b c ab ac 2.6 a bc ab c 2.7 單位矩陣 單位矩陣和矩陣的逆 線性依賴和空間 span 解決公式2.11是否有解的問題。乙個有線性依賴的方陣叫奇異矩陣。範數 norms p ...
深度學習第二章 線性代數筆記
本章主要介紹與深度學習相關的線性代數知識。與特徵分解類似，奇異值分解 singular value decomposition，svd 將矩陣分解成奇異向量 singular vector 和奇異值 singular value 將 a 分解為三個矩陣的乘積 a udvt 假設a 為 m n 那麼 ...
AI聖經 深度學習 讀書筆記（二） 線性代數
線性代數主要是面向連續數學。標量 乙個標量就是乙個單獨的數。向量 乙個向量就是一列數。我們可以把向量看成空間中的點，每個元素是不同座標軸上的座標。矩陣 矩陣是乙個二維陣列，其中每個元素由兩個索引所確定。張量 乙個陣列中的元素分布在若干維座標中的規則網路。元素對應相乘 a b a b a b 點積 c...