用R語言進行文字挖掘和主題建模

我們每天都會遇到各種各樣的文字資料，但大部分是非結構化的，並不是全部都是有價值的。

我們閱讀的書籍，部落格，新聞文章，網頁，電子郵件等都是文字資料。所有這些文字都為我們提供了大量的資訊，並不斷增長。但是，並非所有的資料都是有用的。我們過濾掉噪音，只保留重要的資訊。這是乙個乏味的過程，但作為人類，我們需要智慧型 - 閱讀是乙個必不可少的工具。而且，當世界傾向於智慧型機器時，處理來自非結構化資料的資訊的能力是必須的。對於人類和智慧型機器來說，從大量的文字資料中挖掘資訊是必需的。文字挖掘可以提供方法來提取，總結和分析來自非結構化資料的有用資訊，以獲得新的見解。

文字挖掘可以用於各種任務。以下是我們的系列將進一步討論的幾個主題：

這篇文章主要關注主題建模。在接下來的帖子中，我們將深入到其他任務。

文字檔案可以有各種格式，如pdf，

doc，

html

等。第一步是將這些文件轉換為可讀的文字格式。接下來，必須建立乙個語料庫。語料庫只是乙個或多個文件的集合。當我們在

r中建立語料庫時，文字會被標記並可供進一步處理。

library(tm)

library(snowballc)
library(topicmodels)
#設定工作目錄（根據需要修改路徑）
setwd("//users//datascience//textmining//topicmodel")
#載入文件到語料庫
#獲取目錄中的.txt檔案列表
filenames 
#將檔案讀入字元向量
#建立向量語料庫
articles.corpus 

# 將每個字母變成小寫

articles.corpus 
# 刪除標點符號
articles.corpus 
#刪除數字
articles.corpus 
# 刪除通用和自定義的停用詞
stopword 
articles.corpus 
articles.corpus 

刪除標點符號：刪除了各種標點符號，如+， 

- 和〜。

停用詞清除：將常用詞和短語功能詞等停用詞過濾掉，以便對資料進行有效的分析。由nltk提供的標準英語停用詞列表與自定義詞匯集合一起使用，以消除非正式詞彙和產品名稱。我們也可以從我們的文字中提供我們認為與我們的分析無關的文字。

案例摺疊：案例摺疊將所有大寫字母轉換為小寫字母。

詞幹化：詞幹是將修飾詞或派生詞歸為根的過程。例如，工作（進行時）和工作（過去式）都會被詞幹化為工作（原型）。

刪除號碼：對於某些文字挖掘活動，號碼不是必需的。例如，在主題建模的情況下，我們關心的是找到描述我們語料庫的基本詞彙。在這種情況下，我們可以刪除號碼。然而，在某些情況下，例如，如果我們正在為財務報表進行主題建模，它們可能會增加實質性內容。

下一步是建立乙個文件項矩陣（dtm）。這是乙個重要的步驟，因為解釋和分析文字檔案，它們最終必須轉換成文件術語矩陣。 

dtm包含每個文件的術語出現次數。 

dtm中的行代表文件，文件中的每個詞代表一列。在將文集轉換為文件項矩陣之後，我們還移除了低頻詞（稀疏詞）。

articledtm 

articledtm2 

（lda

）模型是一種廣泛使用的話題建模技術。以上結果表明，這兩個檔案的主題都集中在機器學習和資料科學領域，你可以從

github

中找到資料集和**。

問答從命令列執行r語言指令碼

用r進行文字挖掘與分析：分詞、畫詞云

文字挖掘的分詞原理

大資料探勘中易犯的11大錯誤

用R語言進行文字挖掘和主題建模

我們每天都會遇到各種各樣的文字資料，但大部分是非結構化的，並不是全部都是有價值的。我們閱讀的書籍，部落格，新聞文章，網頁，電子郵件等都是文字資料。所有這些文字都為我們提供了大量的資訊，並不斷增長。但是，並非所有的資料都是有用的。我們過濾掉噪音，只保留重要的資訊。這是乙個乏味的過程，但作為人類，我們需...

用R語言進行文字挖掘和主題建模

我們每天都會遇到各種各樣的文字資料，但大部分是非結構化的，並不是全部都是有價值的。我們閱讀的書籍，部落格，新聞文章，網頁，電子郵件等都是文字資料。所有這些文字都為我們提供了大量的資訊，並不斷增長。但是，並非所有的資料都是有用的。我們過濾掉噪音，只保留重要的資訊。這是乙個乏味的過程，但作為人類，我們需...

用R語言進行文字挖掘和主題建模

我們閱讀的書籍，部落格，新聞文章，網頁，電子郵件等都是文字資料。所有這些文字都為我們提供了大量的資訊，並不斷增長。但是，並非所有的資料都是有用的。我們過濾掉噪音，只保留重要的資訊。這是乙個乏味的過程，但作為人類，我們需要智慧型 閱讀是乙個必不可少的工具。而且，當世界傾向於智慧型機器時，處理來自非結構...