乙個 m×
n 的 word-doc 矩陣，經 svd 奇異值分解之後，得到 (m
×k)×
(k×n
) 的兩個子矩陣的乘積，這裡的維度資訊
k ，表示的正是從全部 word 中提煉出來的 topic，提取在某種程度上含義近似於壓縮，自然這裡提煉出來的 topic 也是去除近義詞後的結果。這也正是lsa（latent semantic analysis）（隱語義/潛藏語義/潛在語義分析）所做的工作。
矩陣的奇異值分解首先適用於矩陣非方陣的情形。設 c
m×n，
um×m
，其中
u 的列為 cc
t的正交特徵向量，vn
×n，v
的列為 ct
c的正交特徵向量，再假設
r 為
c的秩，則存在奇異值分解： c=
uλvt
其中 cc
t 和 ct
c 的特徵值相同，為 λ1
,λ2,
…,λr
。λ為 m×
n ，其中 λi
i=λ√
i ，其餘位置為0，λi
i 的值按大小降序排列
u 的每一列，
v的每一列，均與 λi
i 時，可以僅保留
u 的第一列，
λ的第乙個對角線元素（也即 λ11
） 以及
v 的第一列；
svd 分解兩端同時右乘 ct
，得： cc
t=uλ
2ut
恰為對稱矩陣的分解。
奇異值分解的圖形表示如下：
從圖中可以看到
σ 雖然為m x n矩陣（m>n），但從第n+1行到m行全為零，因此可以表示成 n x n 矩陣，又由於右式為矩陣相乘，因此 u 可以表示為 m x n 矩陣，vt 可以表示為 n x n 矩陣。
比如使用者對電影的評價矩陣，可以採用 svd 的方式，其基於這樣乙個假設：
[1] svd奇異值分解
機器學習 奇異值分解
奇異值分解是一種矩陣因子分解方法，是線性代數概念，但在統計學習中被廣泛使用，成為其重要工具 主要應用 在主成分分析 潛在語義分析上 奇異值分解的矩陣不需要是方陣，任意矩陣都可以進行分解，都可以表示為三個矩陣的乘積 因子分解 形式，分別是m階正交矩陣 由降序排列的非負對角線元素組成的m n矩形對角矩陣...
機器學習基礎 特徵分解，奇異值分解
對於乙個方陣 行數和列數相等的矩陣 a aa，特徵向量就是指與a aa相乘的乙個非零向量 nu 等於這個非零向量的縮放，即a a nu lambda nu a 其中，lambda 稱為特徵值，nu a i 0 a lambda i nu 0 a i 01 定義 將矩陣分解成一組特徵向量和特徵值。2 ...
SVD奇異值分解 機器學習
簡介 奇異值分解 singular value decomposition 是線性代數中一種重要的矩陣分解，是在機器學習領域廣泛應用的演算法，它不光可以用於降維演算法中的特徵分解，還可以用於推薦系統，以及自然語言處理等領域。是很多機器學習演算法的基石。奇異值分解在資料降維中有較多的應用，這裡把它的原...