1.讀取檔案,通過lower()、replace()函式將所有單詞統一為小寫,並用空格替換特殊字元。
def gettext():
txt = open("piao.txt","r",errors='ignore').read()
txt = txt.lower()
for ch in '!"#$&()*+,-./:;<=>?@[\\]^_·~『』':
txt = txt.replace(ch,"")
return txt
2.對處理後的文字進行詞頻統計存入字典。
txt = gettext()
words = txt.split()
counts = {}
for word in words:
counts[word] = counts.get(word,0) + 1
3.統計結果存為列表型別,按詞頻由高到低進行排序,輸出前十位。
items = list(counts.items())
items.sort(key=lambda x:x[1],reverse=true)
for i in range(10):
word,count = items[i]
print("".format(word,count))
輸入:
輸出:
英文詞頻統計
詞頻統計預處理 將所有,等分隔符全部替換為空格 將所有大寫轉換為小寫 生成單詞列表 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻最大top10 word lately,i ve been,i ve been losing sleep dreaming about the things...
Python 《Hamlet》哈姆雷特英文詞頻統計
關鍵問題 1 詞語 鍵 2 相同詞語的累加 值 討論 定義什麼資料型別 字典型別 問題描述 i 檔案的輸入 p 採用字典型別的結構統計詞語出現的頻率 o 每個單詞及單詞出現的次數 要求輸出前10個 ipo細化 第一步 1 txt檔案讀取 txt.read filename r 2 檔案大小寫的轉換 ...
用python實現英文詞頻統計
1.字串的內建函式的呼叫一般不改變原字串,而列表的內建函式的呼叫一般會改變列表。trystr mytry print trystr.upper mytry print trystr mytry 要想改變原字串應該使用如下 trystr trystr.upper trylist 2 6,7 1,0 p...