英文單詞之間是以空格作為自然分界符的，而漢語是以字為基本的書寫單位，詞語之間沒有明顯的區分標記，因此，中文詞語分析是中文資訊處理的基礎與關鍵。
分詞演算法可分為三大類：基於字典、詞庫匹配的分詞方法；基於詞頻度統計的分詞方法和基於知識理解的分詞方法。
在基於字典、詞庫匹配的分詞方法中，又分為正向最大匹配、逆向最大匹配、最大切分、雙向匹配。
(maximummatchingmethod)通常簡稱為mm法。其基本思想為：假定分詞詞典中的最長詞有i個漢字字元，則用被處理文件的當前字串中的前i個字作為匹配字段，查詢字典。若字典中存在這樣的乙個i字詞，則匹配成功，匹配欄位被作為乙個詞切分出來。如果詞典中找不到這樣的乙個i字詞，則匹配失敗，將匹配欄位中的最後乙個字去掉，對剩下的字串重新進行匹配處理…… 如此進行下去，直到匹配成功，即切分出乙個詞或剩餘字串的長度為零為止。這樣就完成了一輪匹配，然後取下乙個i字字串進行匹配處理，直到文件被掃瞄完為止。#!/usr/bin/env python
python中文分詞 結巴分詞
中文分詞是中文文字處理的乙個基礎性工作，結巴分詞利用進行中文分詞。其基本實現原理有三點 基於trie樹結構實現高效的詞圖掃瞄，生成句子中漢字所有可能成詞情況所構成的有向無環圖 dag 採用了動態規劃查詢最大概率路徑,找出基於詞頻的最大切分組合 對於未登入詞，採用了基於漢字成詞能力的hmm模型，使用了...
Python 中文分詞總結
一，jieba 對於結巴而言，使用的人比較多，支援三種分詞模式，繁體分詞，自定義詞典，mit授權協議。三種模式分詞 import jieba s list jieba.cut 江南小鎮的青磚白瓦風景秀美如畫 cut all true print full mode join s list 全模式 s...
python 中文分詞工具
結巴 中文分詞 演算法 1 基於字首詞典實現高效的詞圖掃瞄，生成句子中漢字所有可能成詞情況所構成的有向無環圖 dag 2 採用了動態規劃查詢最大概率路徑,找出基於詞頻的最大切分組合 3 對於未登入詞，採用了基於漢字成詞能力的 hmm 模型，使用了 viterbi 演算法。1 分詞 支援三種分詞模式 ...