a b
?table
lecture=read.csv("1.segment.txt",sep=",",header=true,fileencoding="utf-8")
# 檢視前幾行，看是否有字元編碼問題
head(lecture);
# 獲取資料集長度
n=length(lecture[,1]);
print(n)
# == 文字預處理
res=lecture[lecture!=" "];
#剔除url
#剔除特殊詞
res=gsub(pattern="[我|你|的|了|是]","",res);
# == 分詞+頻數統計
v=table(unlist(word));
# 降序排序
v=rev(sort(v));
d=data.frame(word=names(v), freq=v);
# 過濾掉1個字和詞頻小於20的記錄
d=subset(d, nchar(as.character(d$word))>1 & d$freq>=20)
#設定中文輸出
par(family='stkaiti')
mycolors
wordcloud(d$word,d$freq,random.order=f,random.color=f,colors=mycolors)
中文文字分析（1） 分詞
import jieba import re 資料格式 晚上想吃五花肉土豆蓋澆飯 今晚吃雞嘿咻嘿 綠皮環保小火車進站 一首 夢醒時分 送給大家 具體流程如下 目的 清洗文字中的特殊符號 sentence 晚上想吃五花肉土豆蓋澆飯 今晚吃雞嘿咻嘿 綠皮環保小火車進站 一首 夢醒時分 送給大家 def ...
文字分析3 jieba分詞
分詞思想和工具也有很多，這裡先只學習jeiba分詞。三種分詞模式 另外，也支援繁體分詞和自定義詞典 基本使用 import jieba import warnings warnings.filterwarnings ignore tmpstr 郭靖和哀牢山三十六劍,res jieba.cut tmp...
文字預處理 （3）分詞
由於新詞的不斷出現，不存在乙個詞表能夠收錄所有的詞彙。所以此時就無法將這個詞給識別出來。比如 羽毛球拍賣完了 就存在兩種分詞的方式 一種是，羽毛球 拍賣 完了 另一種是，羽毛球拍 賣 完了 比如 自然語言處理 可以看做乙個詞語，也可以看三個詞語 自然 語言 處理 基於詞典資源的一種分詞方法，對文字中...