python中jieba庫的使用

英語中我們可以通過.split()對字串進行分割，從而獲取到單詞的列表。

比如如下**對哈姆雷特中前10英文單詞頻率進行了統計排序

#calhamletv1.py

def gettext():
txt = open("word frequency/hamlet.txt", "r").read()
txt = txt.lower()
for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_『~':
txt = txt.replace(ch, " ")   #將文字中特殊字元替換為空格
return txt
hamlettxt = gettext()
words  = hamlettxt.split()
counts = {}
for word in words:			
counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=true) 
for i in range(10):
word, count = items[i]
print ("".format(word, count))

那麼在中文中，因為每個漢字連在一起，沒有空格，所以就不適用了。我們可以引用python第三庫中的jieba庫來解決這個問題。

jieba是優秀的中文分詞第三方庫，它能夠對中文文字進行分詞或得單個的詞語，因為是第三方庫，所以需要額外安裝。命令：pip install jieba

jieba分詞依靠的是乙個強大的中文庫，確定漢字自檢的關聯概率，概率大的組成片語，形成了分詞的結果。除了分詞呢，使用者還可以新增自定義的片語。

jieba分詞有三種模式：

精確模式：把文字精確的切分開，不存在冗餘單詞

全模式：把文字中所有可能的詞語都掃瞄出來，有冗餘

搜尋引擎模式：在精確模式基礎上，對長詞再次切分

jieba庫

函式描述

jieba.lcut(s)

精確模式，返回乙個列表型別的分詞結果

jieba.lcut(s,cut_all=true)

全模式，返回乙個列表型別的分詞結果，存在冗餘

jieba.luct_for_search(s)

搜尋引擎模式，返回乙個列表型別的分詞結果，存在冗餘

jieba.add_world(w)

向分詞詞典增加新詞w

利用jieba統計三國演義人名出線頻率

#calthreekingdomsv2.py

import jieba
excludes = 
txt = open("word frequency/threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
if len(word) == 1:
continue
elif word == "諸葛亮" or word == "孔明曰":
rword = "孔明"
elif word == "關公" or word == "雲長":
rword = "關羽"
elif word == "玄德" or word == "玄德曰":
rword = "劉備"
elif word == "孟德" or word == "丞相":
rword = "曹操"
else:
rword = word
counts[rword] = counts.get(rword,0) + 1
for word in excludes:
del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=true) 
for i in range(10):
word, count = items[i]
print ("".format(word, count))

Python初學13 jieba庫簡介與使用

目錄 一 jieba庫基本介紹 二 jieba庫的使用說明 三種模式 lcut lcut for search add word 三 文字詞頻統計 例項 簡單說，jieba是乙個非常好用的中文工具，以分詞起家，但功能比分詞要強大很多。而且，全國計算機等級考試二級python語言必考jieba庫。ji...

python中jieba庫的介紹和應用

一 安裝環境 window python 二 安裝方式 在電腦命令符 cmd 中直接寫進下面的語句 pip install jieba 即可 三 jieba庫分詞的基本原理 1 利用中文詞庫，分析漢字與漢字之間的關聯機率 2 還有分析漢字片語的關聯機率 3 還可以根據使用者自定義的片語進行分析 四 ...

mysql呼叫jieba庫 jieba庫的使用

jieba是優秀的中文分詞第三方庫 jieba有3種模式 1.精確模式，返回乙個列表型別的分詞結果 jieba.lcut 中國是乙個偉大的國家 中國 是 乙個 偉大 的 國家 2.全模式，返回乙個列表型別的分詞結果，存在冗餘 jieba.lcut 中國是乙個偉大的國家 cut all true 中國...