本章主要介紹與深度學習相關的線性代數知識。
與特徵分解類似，奇異值分解（singular value decomposition，svd），將矩陣分解成奇異向量（singular vector）和奇異值（singular value），將
a 分解為三個矩陣的乘積：a=
udvt
假設a 為 m×
n ，那麼
u 為 m×
m ，v 為 n×
n 。d 對角線上的元素稱為矩陣
a 的奇異值。u
v 分別為左奇異向量，右奇異向量。
由於非方矩陣沒有逆矩陣定義。利用2.8節奇異值分解，對矩陣
a 的偽逆：a+
=vd+
ut其中d+
是通過d 對角矩陣非零元素取倒數之後轉置得到。可求：x=
a+y
跡運算返回矩陣對角的和：tr
(a)=
∑iai
,i記作de
t(a)
主成成分分析（principal components analysis，pca），有失真壓縮。
具體原理是減去均值後，根據上述特徵向量及特徵值的分解，找到資訊量最大的某些特徵，將其提取，實現了有失真壓縮。
主成成分分析原理詳解，可以結合特徵向量和特徵值的原理一起看，如2.7節中的幾篇特徵值和特徵向量的解釋。
隨時補充。
深度學習筆記（二）第二章 線性代數
標量 scalars 向量 vector 矩陣 matrix 矩陣和向量乘法 hadamard積 a b c ab ac 2.6 a bc ab c 2.7 單位矩陣 單位矩陣和矩陣的逆 線性依賴和空間 span 解決公式2.11是否有解的問題。乙個有線性依賴的方陣叫奇異矩陣。範數 norms p ...
深度學習讀書筆記 第二章 線性代數
標量 scalar,是乙個單獨的數 向量 vector,是一列有序的數.方括號包圍的縱列，每個元素有乙個索引。矩陣 matrix,二維陣列，每個元素由兩個索引組成。aij處於i行j列。張量 tensor,超過二維的陣列。標量和矩陣的運算 向量和矩陣的運算 將向量隱式的複製到很多位置的方式成為廣播 b...
線性代數筆記
ps 課程連線 link 將矩陣看作是向量的函式 轉換函式 1.子空間 假設v是乙個向量空間，如果s是v的子集，且s對加法和數量乘法封閉，則稱s是v的乙個子空間。對於向量空間，一定注意 v的任何子空間都一定包含o 零空間 2.維度 乙個空間的基中，向量的個數 注意 不能簡單的通過基中元素個數來確定維...