中文詞頻統計

2022-09-01 11:21:11 字數 607 閱讀 6061

使用jieba庫,進行中文詞頻統計,輸出top20的詞及出現次數。

排除一些無意義詞、合併同一詞。

對詞頻統計結果做簡單的解讀。

import jieba #匯入結巴

str= open('c:/uscer/ben/test.txt','r',encoding= 'utf-8').read()#開啟檔案

words=list(jieba.cut(str))

exp = #刪除逗號

keys = set(words)-exp

dic={}

for w in keys:

if len(w)>1:#去除無意義詞

dic[w]=words.count(w)#計數字典

wc = list(dic.items())#排序

wc.sort(key= lambda x:x[1],reverse=true)

for i in range(20):#輸出top(20)

此文講述楊葉與人君的故事

中文詞頻統計

2.從檔案讀取待分析文字。3.安裝並使用jieba進行中文分詞。4.更新詞庫,加入所分析物件的專業詞彙。5.生成詞頻統計 排序 排除語法型詞彙,代詞 冠詞 連詞等停用詞 輸出詞頻最大top20,把結果存放到檔案裡 源 import jieba fo open r d 三體.txt encoding ...

中文詞頻統計

從檔案讀取待分析文字。news open gzccnews.txt r encoding utf 8 安裝與使用jieba進行中文分詞。pip install jieba import jieba list jieba.lcut news 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻...

中文詞頻統計

從檔案讀取待分析文字。news open gzccnews.txt r encoding utf 8 安裝與使用jieba進行中文分詞。pip install jieba import jieba list jieba.lcut news 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻...