jieba分詞核心分詞由兩部分組成。對於在詞典裡的字詞建立字典樹（trie），在搜尋的時候必須從根節點搜尋到葉子節點才算乙個詞；對於不在字典裡的字詞使用hmm模型根據最大可能性進行分詞
每次執行jieba分詞時程式會先檢查是否存在jieba.cache這個檔案。如果存在直接使用這個檔案中的資訊，否則重新根據詞典建樹並生成新的jieba.cache。所以每次在使用新的詞典之前需要把這個檔案刪除。
字詞在詞典中根據頻率（待考證）賦值。具體到分詞方案，jieba分詞會根據較大的權值分詞。所以如果希望把原先是兩個部分的詞合成乙個詞，這個新合成的詞的權值起碼要大於等於較小部分的權值。
jieba分詞詞性參考：
Jieba分詞作業記錄
該文的project請看支援三種分詞模式 精確模式，試圖將句子最精確地切開，適合文字分析 全模式，把句子中所有的可以成詞的詞語都掃瞄出來,速度非常快，但是不能解決歧義 搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜尋引擎分詞。支援繁體分詞 支援自定義詞典 mit 授權協議 ...
NLP 使用jieba分詞
相比於機械法分詞法，jieba聯絡上下文的分詞效果更好。同時使用hmm模型對片語的分類更加準確。測試對如下文字的分詞效果 南門街前段時間經過整改勸阻擺攤佔道的情況改善了很多，但是情況好了幾天又慢慢的和以前一樣了，只要有人帶頭 後面慢慢又擺出來，很多商戶現在乾脆用鉤子把一些貨物掛門口屋簷下的電線上，上...
jieba 分詞使用入門
1.介紹 jieba 是目前最好的 python 中文分詞元件，它主要有以下 3 種特性 import jieba import jieba.posseg as pseg import jieba.analyse as anls 2.分詞 可使用jieba.cut和jieba.cut for sea...