本文**
上一次寫了關於pca與lda
的文章，pca的實現一般有兩種，一種是用特徵值分解去實現的，一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。奇異值分解是乙個有著很明顯的物理意義的一種方法，它可以將乙個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。就像是描述乙個人一樣，給別人描述說這個人長得濃眉大眼，方臉，絡腮鬍，而且帶個黑框的眼鏡，這樣寥寥的幾個特徵，就讓別人腦海裡面就有乙個較為清楚的認識，實際上，人臉上的特徵是有著無數種的，之所以能這麼描述，是因為人天生就有著非常好的抽取重要特徵的能力，讓機器學會抽取重要的特徵，svd是乙個重要的方法。
在機器學習領域，有相當多的應用與奇異值都可以扯上關係，比如做feature reduction的pca，做資料壓縮（以影象壓縮為代表）的演算法，還有做搜尋引擎語義層次檢索的lsi（latent semantic indexing）
前面說了這麼多，本文主要關注奇異值的一些特性，另外還會稍稍提及奇異值的計算，不過本文不準備在如何計算奇異值上展開太多。另外，本文裡面有部分不算太深的線性代數的知識，如果完全忘記了線性代數，看本文可能會有些困難。
後續完整內容請進入
機器學習 奇異值分解
奇異值分解是一種矩陣因子分解方法，是線性代數概念，但在統計學習中被廣泛使用，成為其重要工具 主要應用 在主成分分析 潛在語義分析上 奇異值分解的矩陣不需要是方陣，任意矩陣都可以進行分解，都可以表示為三個矩陣的乘積 因子分解 形式，分別是m階正交矩陣 由降序排列的非負對角線元素組成的m n矩形對角矩陣...
SVD奇異值分解 機器學習
簡介 奇異值分解 singular value decomposition 是線性代數中一種重要的矩陣分解，是在機器學習領域廣泛應用的演算法，它不光可以用於降維演算法中的特徵分解，還可以用於推薦系統，以及自然語言處理等領域。是很多機器學習演算法的基石。奇異值分解在資料降維中有較多的應用，這裡把它的原...
機器學習基礎 特徵分解，奇異值分解
對於乙個方陣 行數和列數相等的矩陣 a aa，特徵向量就是指與a aa相乘的乙個非零向量 nu 等於這個非零向量的縮放，即a a nu lambda nu a 其中，lambda 稱為特徵值，nu a i 0 a lambda i nu 0 a i 01 定義 將矩陣分解成一組特徵向量和特徵值。2 ...