首先咱們先通過乙個圖書館的故事引入正題。
圖書館引進了一批圖書，現在圖書館管理員也聰明了，想著讓書自己就知道自己在哪，不需要人工辨別。
那麼問題來了，我們要想知道書屬於哪一類，就必須知道書的內容和哪一類是相關的。
現在我們想就大致做一下，也就是讓書的和庫中的字進行匹配，匹配完成，根據概率規定出書屬於哪一類。
現在假設有十萬本書，需要匹配的字是二十萬，也就是100000x200000=20000000000，我就不數了，反正很大。
這麼大的資料庫，要想很快地分完類進行100000x200000=20000000000此運算，而且要是使用了矩陣運算，那麼儲存空間也是這些，所以是不是很不舒服？？
現在我們變得聰明了，我們先把書按學科分類，文史呀，科技呀之類的。假設分了20個學科，每個學科又了100個代表字，100個代表字要和200000個字進行比較，那麼我們驗算量多大呢？？？100000*20+20*100+100*200000=22002000
20000000000/22002000=909倍，那麼我們的運算速度就提高了909倍！！！是不是很驚人，而且我們儲存空間也少用了909倍，那麼你不需要再擔心自己的記憶體沒法跑這樣的程式了。
這就是乙個奇異分解能夠解決的問題，在我們求奇異值的時候，其實就是在求那個20*100的矩陣的，也就是中間十萬和二十萬的聯絡環節。
提到奇異分解svd，其實大部分同學應該都是早已經知道了特徵值和特徵向量的，ax=λx，a是乙個nxn的矩陣，x是乙個n維的特徵向量。a的特徵分解為
一般我們會讓w進行標準化，也就是歸一化，它的模為1。滿足
也就是說w為酉矩陣。（若一行列的複數矩陣滿足：其中，a*為的共軛轉置，aa*為n階單位矩陣，則稱為酉矩陣。從某60粘過來）
這裡大家也能看出來，a已經設定為nxn的方陣，那麼有人會說了，上面的例子也不是方陣呀？？！！a必須是方陣嗎？
好吧，這樣問，問題的答案就來了，如你所料，我們之前學的特徵分解，其實就是最簡單的奇異分解，是一種很特殊的奇異分解。你完全可以用它的思想來想一下奇異分解的。
此處粘了一些公式推導，來自於一篇英文we recommend a singular value decomposition，上面有疑問的地方在於
這個大家估計看不太懂，原文就是這樣寫的，我自己推了一下，其實可以理解的，v1tx其實也就相當於了乙個常數，而作為特徵值的σ也是常數，常數移動到**其實都沒問題。還有就是上面的內積，內積就是乙個數（|v|·|x|·cos
θ），至於內積等於vtx，我也是剛看到，最後自己用matlab做了下，確實如此，這是乙個公式，記住就好了。還有疑問的話就是v和x是什麼樣的向量，蠻明確的，v和x都是列向量的。
到這裡，大家對於奇異向量其實也知道得**不離十了。
我是做影象分析的，對影象這一塊是比較關注的，影象的濾波和去噪之類的，svd也是用到了。
大的奇異值對應的特徵向量包含的資訊較多，轉換為影象也就是所佔的畫素比較多。而較小的奇異值對應的特徵向量包含的資訊是較少的，轉換為影象也就是所佔的畫素比較少，什麼元素在影象中所佔的畫素比較少呢？是雜訊，雜訊佔的比重其實是相對較少的。我們完全可以對影象矩陣進行奇異分解的，然後通過對奇異值較小的項進行刪除以後，我們也就把包含其中的雜訊一起刪除了。當然這種方法計算量相比其他演算法，計算量明顯比較大，但是，這方法在某些場合也是有某些特殊用途的。
奇異值和奇異值分解
理論 假設m是乙個m n階矩陣，其中的元素全部屬於域 k，也就是 實數域或複數域。如此則存在乙個分解使得 m u v 其中u是m m階酉矩陣 是半正定m n階對角矩陣 而v 即v的共軛轉置，是n n階酉矩陣。這樣的分解就稱作m的奇異值分解。對角線上的元素 i,i即為m的奇異值。直觀的解釋 在矩陣m的...
奇異值和奇異值分解
理論 假設m是乙個m n階矩陣，其中的元素全部屬於域 k，也就是 實數域或複數域。如此則存在乙個分解使得 m u v 其中u是m m階酉矩陣 是半正定m n階對角矩陣 而v 即v的共軛轉置，是n n階酉矩陣。這樣的分解就稱作m的奇異值分解。對角線上的元素 i,i即為m的奇異值。直觀的解釋 在矩陣m的...
奇異值分解
奇異值分解 singular value decomposition 是線性代數中一種重要的 矩陣分解，是矩陣分析中正規矩陣酉對角化的推廣。在訊號處理 統計學等領域有重要應用。1基本介紹 2理論描述 3幾何意義 4範數 5應用 求偽逆 平行奇異值模型 矩陣近似值 奇異值分解在某些方面與 對稱矩陣或 ...