矩陣分解除了分解成特徵值和特徵向量。還有一種分解矩陣的方法，被稱為奇異值分解（singular value decomposition svd）將矩陣分解為奇異向量和奇異值。通過奇異值分解，我們會得到一些與特徵分解相同型別的資訊。每個實數矩陣都有乙個奇異值分解，但不一定有特徵分解。
回想一下，我們使用特徵分解去分析矩陣 a 時，得到特徵向量構成的矩陣 v和特徵值構成的向量 λ，我們可以重新將 a 寫作
奇異值分解是類似的，只不過這回我們將矩陣 a 分解成三個矩陣的乘積：
假設 a 是乙個 m×n 的矩陣，那麼 u 是乙個 m×m 的矩陣，d 是乙個 m×n的矩陣，v 是乙個 n × n 矩陣。
對於非方矩陣而言，其逆矩陣沒有定義。假設在下面的問題中，我們希望通過矩陣 a 的左逆 b 來求解線性方程，
ax=y
等式兩邊左乘左逆，我們得到
x=by
取決於問題的形式，我們可能無法設計乙個唯一的對映將a對映到b。
如果矩陣 a 的行數大於列數，那麼上述方程可能沒有解。如果矩陣 a 的行數小於列數，那麼上述矩陣可能有多個解。
moore-penrose 偽逆（moore-penrose pseudoinverse）使我們在這類問題上取得了一定的進展。矩陣 a 的偽逆定義為：
計算偽逆的實際演算法沒有基於這個定義，而是使用下面的公式：
其中，矩陣 u，d 和 v 是矩陣 a奇異值分解後得到的矩陣。對角矩陣 d 的偽逆d + 是其非零元素取倒數之後再轉置得到的。
當矩陣 a 的列數多於行數時，使用偽逆求解線性方程是眾多可能解法中的一種。特別地，x = a + y 是方程所有可行解中歐幾里得範數 ∥x∥ 2 最小的乙個。
當矩陣 a 的行數多於列數時，可能沒有解。在這種情況下，通過偽逆得到的 x使得 ax 和 y 的歐幾里得距離 ∥ax − y∥ 2 最小。
跡運算的結果是矩陣對角線元素的和：
行列式，記作 det(a)，是乙個將方陣 a 對映到實數的函式。行列式等於矩陣特徵值的乘積。行列式的絕對值可以用來衡量矩陣參與矩陣乘法後空間擴大或者縮小了多少。如果行列式是 0，那麼空間至少沿著某一維完全收縮了，使其失去了所有的體積。如果行列式是 1，那麼這個轉換保持空間體積不變。
深度學習 應用數學與機器學習基礎 1
如果你很熟悉線性代數，那麼你可以跳過本節 1 標量 向量 矩陣和張量 2 矩陣和向量相乘 矩陣乘法是矩陣運算中最重要的操作之一。兩個矩陣相乘是第三個矩陣。c aba的列數必須和b的行數相等。兩個矩陣中對應元素相乘被稱為元素對應乘積或者badamard乘積。記為 a b 兩個相同維數的向量x和y的點積...
應用數學與機器學習基礎
線性代數的知識 1 標量 令x屬於 r 表示一條線的斜率，小寫斜體表示，會表明他屬於是哪種型別 2 向量 s 指定x1，x3 和x6,表示為xs，x s 表示x 中除x1，x3，x6 外所有元素構成的向量。3 矩陣 矩陣值表示式的索引 f a i j 表示函式f 作用在a 上輸出的矩陣的第i 行第j...
深度學習基礎（1） 機器學習與深度學習
機器學習 深度學習 通常，在我們接觸深度學習的過程中，經常可以看到機器學習，深度學習，監督學習，無監督學習，神經網路，隱藏層，函式等一系列概念。這些概念之間的相互關係是什麼，分別是什麼意思，有什麼作用，搞清楚這個是非常重要的。在此對其進行一次梳理。所有的概念都可以認為出自 人工智慧 artifici...