falsk實現結巴分詞自定義詞典定時更新及載入

2021-10-24 08:03:50 字數 1206 閱讀 6647

使用flask配合結巴庫做了乙個分詞介面,做定時任務每天從資料庫拉取自定義詞彙作為其自定義詞典,使用uwsgi部署.

問題點是在uwsgi執行時,即使從資料庫拉取了資料,詞典也不會載入到記憶體中,也就是新的詞彙不生效

在flask再新增乙個定時任務,當詞典拉取後就呼叫詞典引導程式,將詞典載入到記憶體中 --不可行

原因:因為在uwsgi執行時,之前的詞典已經載入到記憶體中,在次載入詞典不生效

我是每次寫入當前時間戳.

以下是 uwsgi.ini配置

py-autoreload = 1下面是scheduler**

from apscheduler.schedulers.background import backgroundscheduler

from dictionary_management import update_user_dict

scheduler = backgroundscheduler(timezone=

"asia/shanghai"

)# 定時更新使用者詞典

# scheduler.add_job(update_user_dict, 'interval', minutes=10)

scheduler.add_job(update_user_dict,

'cron'

, hour=

3,minute=10)

scheduler.start(

)try

:import uwsgi

while

true

: sig = uwsgi.signal_wait(

)(sig)

except exception as err:

pass

jieba結巴分詞加入自定義詞典

新增自定義詞典 動態調整詞典 參考jieba官方文件 jieba.cut 以及 jieba.cut for search 返回的結構都是乙個可迭代的 generator,可以使用 for 迴圈來獲得分詞後得到的每乙個詞語 unicode 或者用 jieba.lcut 以及 jieba.lcut fo...

結巴分詞jieba新增自定義詞典

結巴分詞新增自定義詞典,有時候很有必要。比如下面這段話 test text 我們的健康碼也是綠色的,這憑什麼就限制我們的就醫!如果使用預設的分詞,那麼,健康碼 這個詞會分成 健康 和 碼 這裡可以使用詞典方式,新增自定義詞典。新建乙個txt檔案,在檔案裡輸入 健康碼 以utf 8形式儲存,這裡使用p...

jieba 分詞自定義詞典問題

只對長詞起作用 對如果定義的詞比jieba自己分的短,則沒有用 下面是三種分詞方式的影響 python view plain copy encoding utf 8 import jieba import os import sys test text 號碼查詢 精確模式 seg list jieb...