宣告:該文章翻譯自mit出版的《deep learning》,博主會定期更新文章內容。由於博主能力有限,中間有過錯之處希望大家給予批評指正,一起學習交流。
只有方陣定義了矩陣求逆。假設我們得到矩陣的左逆,這樣的話我們就能通過兩邊都左乘逆,解決下面的線性等式ax
=y,得到x=
by依賴於問題的結構,不太可能設計出唯一的
a 到
b 的對映。
如果 a
高度比寬度大,那麼這個等式可能無解。如果
a 寬度比高度大,那麼可能有多個解。
穆爾彭羅斯偽逆讓我們在這些情況下取得一些進展。的偽逆定義如下:a+
=lim
α↘0(
ata+
αi)−
1at
計算偽逆的實用演算法不是基於定義的,而是公式:a+
=vd+
ut其中是奇異值分解,對角矩陣
d 的偽逆 d+
通過取非零元素的倒數然後將結果矩陣轉置得到。當 a
的列大於行,那麼用偽逆解決線性方程提供了一種解法。特別地,它提供了具有最小歐幾里德範數 ∥x
∥2的解 x=
a+y
當 a 的行大於列,可能沒有解。在這種情況下,用偽逆得到乙個
x ,並且 ax
盡可能的靠近
y ,用歐幾里德範數的形式表示是 ∥a
x−y∥
2