使用jieba庫,進行中文詞頻統計,輸出top20的詞及出現次數。
排除一些無意義詞、合併同一詞。
對詞頻統計結果做簡單的解讀。
import jieba #匯入結巴str= open('c:/uscer/ben/test.txt','r',encoding= 'utf-8').read()#開啟檔案
words=list(jieba.cut(str))
exp = #刪除逗號
keys = set(words)-exp
dic={}
for w in keys:
if len(w)>1:#去除無意義詞
dic[w]=words.count(w)#計數字典
wc = list(dic.items())#排序
wc.sort(key= lambda x:x[1],reverse=true)
for i in range(20):#輸出top(20)
此文講述楊葉與人君的故事
中文詞頻統計
2.從檔案讀取待分析文字。3.安裝並使用jieba進行中文分詞。4.更新詞庫,加入所分析物件的專業詞彙。5.生成詞頻統計 排序 排除語法型詞彙,代詞 冠詞 連詞等停用詞 輸出詞頻最大top20,把結果存放到檔案裡 源 import jieba fo open r d 三體.txt encoding ...
中文詞頻統計
從檔案讀取待分析文字。news open gzccnews.txt r encoding utf 8 安裝與使用jieba進行中文分詞。pip install jieba import jieba list jieba.lcut news 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻...
中文詞頻統計
從檔案讀取待分析文字。news open gzccnews.txt r encoding utf 8 安裝與使用jieba進行中文分詞。pip install jieba import jieba list jieba.lcut news 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻...