在自然語言處理中，最常見的兩類的分 類問題分別是，將文字按主題歸類（比如將所有介紹亞運會的新聞歸到體育類）和將詞彙表中的字詞按意思歸類（比如將各種體育運動的名稱個歸成一類）。這兩種 分類問題都可用通過矩陣運算來圓滿地、同時解決。為了說明如何用矩陣這個工具類解決這兩個問題的，讓我們先來來回顧一下我們在餘弦定理和新聞分類中介紹的方法。
分類的關鍵是計算相關性。我們首先對兩個文字計算出它們的內容詞，或者說實詞的向量，然後求這兩個向量的夾角。當這兩個向量夾角為零時，新聞就相關；當它們 垂直或者說正交時，新聞則無關。當然，夾角的余弦等同於向量的內積。從理論上講，這種演算法非常好。但是計算時間特別長。通常，我們要處理的文章的數量都很 大，至少在百萬篇以上，二次回標有非常長，比如說有五十萬個詞（包括人名地名產品名稱等等）。如果想通過對一百萬篇文章兩篇兩篇地成對比較，來找出所有共 同主題的文章，就要比較五千億對文章。現在的計算機一秒鐘最多可以比較一千對文章，完成這一百萬篇文章相關性比較就需要十五年時間。注意，要真正完成文章 的分類還要反覆重複上述計算。
在文字分類中，另一種辦法是利用矩陣運算中的奇異值分解（singular value decomposition，簡稱 svd)。現在讓我們來看看奇異值分解是怎麼回事。首先，我們可以用乙個大矩陣a來描述這一百萬篇文章和五十萬詞的關聯性。這個矩陣中，每一行對應一篇文 章，每一列對應乙個詞。在上面的圖中，m=1,000,000，n=500,000。第 i 行，第 j 列的元素，是字典中第 j 個詞在第 i 篇文章中出現的加權詞頻（比如，
tf/idf
)。讀者可能已經注意到了，這個矩陣非常大，有一百萬乘以五十萬，即五千億個元素。奇異值分解就是把上面這樣乙個大矩陣，分解成三個小矩陣相乘，如下圖所示。比如把上面的例子中的矩陣分解成乙個一百萬乘以一百的矩陣x，乙個一百乘以一百的 矩陣b，和乙個一百乘以五十萬的矩陣y。這三個矩陣的元素總數加起來也不過1.5億，僅僅是原來的三千分之一。相應的儲存量和計算量都會小三個數量級以上。
三個矩陣有非常清楚的物理含義。第乙個矩陣x中的每一行表示意思相關的一類詞，其中的每個非零元素表示這類詞中每個詞的重要性（或者說相關性），數值越大越 相關。最後乙個矩陣y中的每一列表示同一主題一類文章，其中每個元素表示這類文章中每篇文章的相關性。中間的矩陣則表示類詞和文章雷之間的相關性。因此， 我們只要對關聯矩陣a進行一次奇異值分解，w 我們就可以同時完成了近義詞分類和文章的分類。（同時得到每類文章和每類詞的相關性）。
現 在剩下的唯一問題，就是如何用計算機進行奇異值分解。這時，線性代數中的許多概念，比如矩陣的特徵值等等，以及數值分析的各種演算法就統統用上了。在很長時 間內，奇異值分解都無法並行處理。（雖然 google 早就有了mapreduce 等平行計算的工具，但是由於奇異值分解很難拆成不相關子運算，即使在 google 內部以前也無法利用平行計算的優勢來分解矩陣。）最近，google 中國的張智威博士和幾個中國的工程師及實習生已經實現了奇異值分解的並行演算法，我認為這是 google 中國對世界的乙個貢獻。
矩陣分解SVD在推薦系統中的應用
參考自 其實說參考也不準確，準確地說應該是半翻譯半學習筆記。仔細整理一遍，感覺還是收穫很大的。任意乙個m n的矩陣a m行 n列，m n 可以被寫成三個矩陣的乘積 1.u m行m列的列正交矩陣 2.s m n的對角線矩陣，矩陣元素非負 3.v n n的正交矩陣的倒置 即a u s v 注意矩陣v需要...
基於matlab的矩陣奇異值（SVD）分解
目錄 1 計算原理 1.1求解v 1.2求解d 1.3求解u 2 matlab程式 2.1 注意 3 設矩陣a的大小m n m n a ud 首先求出的特徵值及特徵值的特徵值從大到小按順序排列，對應的正交特徵向量也要按特徵值的順序排列。排列好的正交的特徵向量即為v v1,v2 其中v1為非零特徵值的...
R中矩陣的奇異值分解SVD
singular value decomposition svd 奇異值分解是一種具有重要實際應用意義的矩陣分解方式，已經具有很廣泛的應用，如壓縮儲存，矩陣求秩，確定投影運算元等。通常儲存矩陣值是按行或者列儲存矩陣的每乙個值，奇異值分解的結果可作為一種儲存矩陣值的另一種方式。奇異值分解將矩陣進行等價...