奇異值分解（singular value decomposition，svd）
如下圖，乙個矩陣可以分解為兩個方陣和乙個對角矩陣的乘積：
sigma是乙個對角矩陣，但通常不是方陣。sigma的對角元素被稱為奇異值，與特徵值類似。因此與pca類似，我們可以取sigma中最大的k個，來簡化資料：
u' = m * k；sigma' = k * k；v'' = k * v
利用新的三個矩陣u'，sigma'，v''相乘仍然得到乙個m * n的矩陣。如果你選擇的k個奇異值所佔的所有奇異值比例足夠大，那麼新得到的m * n的矩陣將與c非常接近。
1、影象壓縮，只保留影象分解後的兩個**和乙個對角陣的對角元素就可以恢復出原始影象。
2、資料降維：
原理與pca一樣，svd計算出的三個矩陣對應的是：
u：cc'的特徵向量矩陣； sigma：奇異值矩陣，其中每個元素為特徵值開方； v'：c'c的特徵向量矩陣
。因此svd降維與pca是一致的，尤其是事先對資料進行了中心化，再奇異值分解，則pca降維和svd降維完全一樣
。假設原資料為x，一行代表乙個樣本，列代表特徵。
1）計算x'x，xx'；
2）對xx'進行特徵值分解，得到的特徵向量組成u，lambda_u;
3）對x'x
進行特徵值分解，得到的特徵向量組成v，lambda_v;
4）lambda_u，lambda_v的重複元素開方組成對角矩陣sigma主對角線上的元素；
參考：[1]
奇異值分解 SVD
最近不小心接觸到了svd，然後認真看下去之後發現這東西真的挺強大的，把乙個推薦問題轉化為純數學矩陣問題，看了一些部落格，把乙個寫個比較具體的博文引入進來，給自己看的，所以把覺得沒必要的就去掉了，博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常，非常，非常大的話題，它的英文是 singular value decomposition，一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...
奇異值分解（SVD）
svd是singular value decomposition的縮寫，是去除冗餘 資訊提取和資料約簡的強大工具。若a為p q實數矩陣，則存在p階正交矩陣u和q階正交矩陣v，使得 a u v 上式就是奇異值分解，其中p q矩陣 中，i，i 元素 i 0,i 1,2,3,min p,q 其他元素均為0...