本文由leftnoteasy發布於
奇異值與特徵值基礎知識：
特徵值分解和奇異值分解在機器學習領域都是屬於滿地可見的方法。兩者有著很緊密的關係，我在接下來會談到，特徵值分解和奇異值分解的目的都是一樣，就是提取出乙個矩陣最重要的特徵。先談談特徵值分解吧：
1）特徵值：
如果說乙個向量v是方陣a的特徵向量，將一定可以表示成下面的形式：
這時候λ就被稱為特徵向量v對應的特徵值，乙個矩陣的一組特徵向量是一組正交向量。特徵值分解是將乙個矩陣分解成下面的形式：
其中q是這個矩陣a的特徵向量組成的矩陣，σ是乙個對角陣，每乙個對角線上的元素就是乙個特徵值。
特別地，特徵值分解侷限使用於方陣。
2）奇異值：
下面談談奇異值分解。特徵值分解是乙個提取矩陣特徵很不錯的方法，但是它只是對方陣而言的，在現實的世界中，我們看到的大部分矩陣都不是方陣，比如說有n個學生，每個學生有m科成績，這樣形成的乙個n * m的矩陣就不可能是方陣，我們怎樣才能描述這樣普通的矩陣呢的重要特徵呢？奇異值分解可以用來幹這個事情，奇異值分解是乙個能適用於任意的矩陣的一種分解的方法：
那麼奇異值和特徵值是怎麼對應起來的呢？首先，我們將乙個矩陣a的轉置 * a，將會得到乙個方陣，我們用這個方陣求特徵值可以得到：
在很多情況下，前10%甚至1%的奇異值的和就佔了全部的奇異值之和的99%以上了。也就是說，我們也可以用前r大的奇異值來近似描述矩陣，這裡定義一下部分奇異值分解：
r是乙個遠小於m、n的數，這樣矩陣的乘法看起來像是下面的樣子：
右邊的三個矩陣相乘的結果將會是乙個接近於a的矩陣，在這兒，r越接近於n，則相乘的結果越接近於a。而這三個矩陣的面積之和（在儲存觀點來說，矩陣面積越小，儲存量就越小）要遠遠小於原始的矩陣a，我們如果想要壓縮空間來表示原矩陣a，我們存下這裡的三個矩陣：u、σ、v就好了。
奇異值分解 SVD
最近不小心接觸到了svd，然後認真看下去之後發現這東西真的挺強大的，把乙個推薦問題轉化為純數學矩陣問題，看了一些部落格，把乙個寫個比較具體的博文引入進來，給自己看的，所以把覺得沒必要的就去掉了，博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常，非常，非常大的話題，它的英文是 singular value decomposition，一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...
奇異值分解（SVD）
svd是singular value decomposition的縮寫，是去除冗餘 資訊提取和資料約簡的強大工具。若a為p q實數矩陣，則存在p階正交矩陣u和q階正交矩陣v，使得 a u v 上式就是奇異值分解，其中p q矩陣 中，i，i 元素 i 0,i 1,2,3,min p,q 其他元素均為0...