科學網--奇異值分解--線性變換的幾何意義
ps:一直以來對svd分解似懂非懂,此文為譯文,原文以細緻的分析+大量的視覺化圖形演示了svd的幾何意義。能在有限的篇幅把這個問題講解的如此清晰,實屬不易。原文舉了乙個簡單的影象處理問題,簡單形象,真心希望路過的各路朋友能從不同的角度闡述下自己對svd實際意義的理解,比如 個性化推薦中應用了svd,文字以及web挖掘的時候也經常會用到svd。
原文:we recommend a singular value decomposition 簡介
svd提供了一種非常便捷的矩陣分解方式,能夠發現資料中十分有意思的潛在模式。在這篇文章中,我們將會提供對svd幾何上的理解和一些簡單的應用例項。
線性變換的幾何意義(the geometry of linear transformations)
讓我們來看一些簡單的線性變換例子,以 2 x 2 的線性變換矩陣為例,首先來看乙個較為特殊的,對角矩陣:
從幾何上講,m是將二維平面上的點(x,y)經過線性變換到另外乙個點的變換矩陣,如下圖所示
變換的效果如下圖所示,變換後的平面僅僅是沿x水平方面進行了拉伸3倍,垂直方向是並沒有發生變化。
現在看下矩陣
這個矩陣產生的變換效果如下圖所示
這種變換效果看起來非常的奇怪,在實際環境下很難描述出來變換的規律 ( 這裡應該是指無法清晰辨識出旋轉的角度,拉伸的倍數之類的資訊)。還是基於上面的對稱矩陣,假設我們把左邊的平面旋轉45度角,然後再進行矩陣m的線性變換,效果如下圖所示:
看起來是不是有點熟悉? 對的,經過m線性變換後,跟前面的對角矩陣的功能是相同的,都是將網格沿著乙個方向拉伸了3倍。
這裡的m是乙個特例,因為它是對稱的。非特殊的就是我們在實際應用中經常遇見一些 非對稱的,非方陣的矩陣。如上圖所示,如果我們有乙個 2 x 2 的對稱矩陣m的話,我們先將網格平面旋轉一定的角度,m的變換效果就是在兩個維度上進行拉伸變換了。
用更加數學的方式進行表示的話,給定乙個對稱矩陣m,我們可以找到一些相互正交vi,滿足mvi就是沿著vi方向的拉伸變換,公式如下:
mvi= λ
ivi
這裡的 λ
i 是拉伸尺度(scalar)。從幾何上看,m對向量vi進行了拉伸,對映變換。vi稱作矩陣 m 的特徵向量(eigenvector), λ
i 稱作為矩陣m特徵值(eigenvalue)。這裡有乙個非常重要的定理,對稱矩陣m的特徵向量是相互正交的。
如果我們用這些特徵向量對網格平面進行線性變換的話,再通過m矩陣對網格平面進行線性換的效果跟對m矩陣的特徵向量進行線性變換的效果是一樣的。
對於更為普通的矩陣而言,我們該怎麼做才能讓乙個原來就是相互垂直的網格平面(orthogonal grid), 線性變換成另外乙個網格平面同樣垂直呢?ps:這裡的垂直如圖所示,就是兩根交錯的線條是垂直的。
經過上述矩陣變換以後的效果如圖
從圖中可以看出,並沒有達到我們想要的效果。我們把網格平面旋轉 30 度角的話,然後再進行同樣的線性變換以後的效果,如下圖所示
讓我們來看下網格平面旋轉60度角的時候的效果。
嗯嗯,這個看起來挺不錯的樣子。如果在精確一點的話,應該把網格平面旋轉 58.28 度才能達到理想的效果。
奇異值分解在影象中的應用
特徵分解 奇異值分解幾何意義
為了從直觀上理解特徵分解和奇異值分解,可以研究一下它們的幾何意義 假設有矩陣 a 和其特徵向量 x 它們滿足ax x 其中 為特徵值。從上式就能看出x a 下,保持方向不變的向量。一般的,矩陣 a 作用在 相乘 乙個向量上,會使該向量發生縮放 旋轉變換。如果我們換一下座標系,以 a 的特徵向量作為基...
奇異值分解 SVD
最近不小心接觸到了svd,然後認真看下去之後發現這東西真的挺強大的,把乙個推薦問題轉化為純數學矩陣問題,看了一些部落格,把乙個寫個比較具體的博文引入進來,給自己看的,所以把覺得沒必要的就去掉了,博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常,非常,非常大的話題,它的英文是 singular value decomposition,一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...