在文字挖掘中，主題模型是比較特殊的一塊，它的思想不同於我們常用的機器學習演算法，因此這裡我們需要專門來總結文字主題模型的演算法。本文關注於潛在語義索引演算法(lsi)的原理。
在資料分析中，我們經常會進行非監督學習的聚類演算法，它可以對我們的特徵資料進行非監督的聚類。而主題模型也是非監督的演算法，目的是得到文字按照主題的概率分布。從這個方面來說，主題模型和普通的聚類演算法非常的類似。但是兩者其實還是有區別的。
聚類演算法關注於從樣本特徵的相似度方面將資料聚類。比如通過資料樣本之間的歐式距離，曼哈頓距離的大小聚類等。而主題模型，顧名思義，就是對文字中隱含主題的一種建模方法。比如從「人民的名義」和「達康書記」這兩個詞我們很容易發現對應的文字有很大的主題相關度，但是如果通過詞特徵來聚類的話則很難找出，因為聚類方法不能考慮到到隱含的主題這一塊。
那麼如何找到隱含的主題呢？這個乙個大問題。常用的方法一般都是基於統計學的生成方法。即假設以一定的概率選擇了乙個主題，然後以一定的概率選擇當前主題的詞。最後這些詞組成了我們當前的文字。所有詞的統計概率分布可以從語料庫獲得，具體如何以「一定的概率選擇」，這就是各種具體的主題模型演算法的任務了。
當然還有一些不是基於統計的方法，比如我們下面講到的lsi。
潛在語義索引(latent semantic indexing,以下簡稱lsi)，有的文章也叫latent semantic analysis（lsa）。其實是乙個東西，後面我們統稱lsi，它是一種簡單實用的主題模型。lsi是基於奇異值分解（svd）的方法來得到文字的主題的。而svd及其應用我們在前面的文章也多次講到，比如：奇異值分解(svd)原理與在降維中的應用和矩陣分解在協同過濾推薦演算法中的應用。如果大家對svd還不熟悉，建議複習奇異值分解(svd)原理與在降維中的應用後再讀下面的內容。
這裡我們簡要回顧下svd：對於乙個$m \times n$的矩陣$a$，可以分解為下面三個矩陣：
$$a_ = u_\sigma_ v^t_$$
有時為了降低矩陣的維度到k，svd的分解可以近似的寫為：
如果把上式用到我們的主題模型，則svd可以這樣解釋：我們輸入的有m個文字，每個文字有n個詞。而$a_$則對應第i個文字的第j個詞的特徵值，這裡最常用的是基於預處理後的標準化tf-idf值。k是我們假設的主題數，一般要比文字數少。svd分解後，$u_$對應第i個文字和第l個主題的相關度。$v_$對應第j個詞和第m個詞義的相關度。$\sigma_$對應第l個主題和第m個詞義的相關度。
也可以反過來解釋：我們輸入的有m個詞，對應n個文字。而$a_$則對應第i個詞檔的第j個文字的特徵值，這裡最常用的是基於預處理後的標準化tf-idf值。k是我們假設的主題數，一般要比文字數少。svd分解後，$u_$對應第i個詞和第l個詞義的相關度。$v_$對應第j個文字和第m個主題的相關度。$\sigma_$對應第l個詞義和第m個主題的相關度。
這樣我們通過一次svd，就可以得到文件和主題的相關度，詞和詞義的相關度以及詞義和主題的相關度。
這裡舉乙個簡單的lsi例項，假設我們有下面這個有11個詞三個文字的詞頻tf對應矩陣如下：
這裡我們沒有使用預處理，也沒有使用tf-idf，在實際應用中最好使用預處理後的tf-idf值矩陣作為輸入。
我們假定對應的主題數為2，則通過svd降維後得到的三矩陣為：
在上面我們通過lsi得到的文字主題矩陣可以用於文字相似度計算。而計算方法一般是通過余弦相似度。比如對於上面的三文件兩主題的例子。我們可以計算第乙個文字和第二個文字的余弦相似度如下 ：$$sim(d1,d2) = \frac\sqrt}$$
lsi是最早出現的主題模型了，它的演算法原理很簡單，一次奇異值分解就可以得到主題模型，同時解決詞義的問題，非常漂亮。但是lsi有很多不足，導致它在當前實際的主題模型中已基本不再使用。
主要的問題有：
1） svd計算非常的耗時，尤其是我們的文字處理，詞和文字數都是非常大的，對於這樣的高維度矩陣做奇異值分解是非常難的。
2） 主題值的選取對結果的影響非常大，很難選擇合適的k值。
3） lsi得到的不是乙個概率模型，缺乏統計基礎，結果難以直觀的解釋。
對於問題1），主題模型非負矩陣分解（nmf）可以解決矩陣分解的速度問題。對於問題2），這是老大難了，大部分主題模型的主題的個數選取一般都是憑經驗的，較新的層次狄利克雷過程（hdp）可以自動選擇主題個數。對於問題3），牛人們整出了plsi(也叫plsa)和隱含狄利克雷分布(lda)這類基於概率分布的主題模型來替代基於矩陣分解的主題模型。
回到lsi本身，對於一些規模較小的問題，如果想快速粗粒度的找出一些主題分布的關係，則lsi是比較好的乙個選擇，其他時候，如果你需要使用主題模型，推薦使用lda和hdp。
文字主題提取
一 tf idf模型 詞頻 tf 某個詞在文字中出現的次數 該文字中總詞數 或者一種變種的計算方法 詞頻 tf 某個詞在文字中出現的次數 該文字中出現次數最多的詞其出現的次數 逆向文件頻 idf log 語料庫中所有文件總數 包含某詞的文件數 1 注意 為了避免分母為0，所以在分母上加1 所指的詞個...
文字主題與分類（二） 關鍵詞抽取
import jieba.analyse as analyse import pandas as pd df pd.read csv data technology news.csv encoding utf 8 讀取科技類新聞 df df.dropna 去除殘缺資料 lines df.conten...
中文文字預處理 主題模型
去掉低頻詞 分詞 繁簡轉化 替換奇異詞等是中文文字資料處理中的重要步驟。如在主題模型中，資料預處理的要求很簡單，只需要去掉低頻詞，大多數文章設定的門限都是5或者6.中文文字相比於英文，需要首先進行分詞處理。類似地還有日文 韓文等。因而自然預言處理中乙個重要的研究問題就是文字分詞技術。兩者都有pyth...