jianfeng gao, mu lin, andi wu, chang-ning huang,
. microsoft research 2004.
這是微軟亞洲研究院對msrseg的實現方法的詳細描述，內容非常詳細。
hua-ping zhang, qun liu,chinese lexical analysis using hierarchical hidden markov model. sighan 2003. 這是對中科院計算所的ictclas系統演算法的描述，主要利用了分層hmm模型。
hua-ping zhang, qun liu,automatic recognition of chinese unknown words based on roles tagging. 這是對ictclas中命名實體和新詞的識別做出的解釋。
guohong fu, kang-kwong luke,chinese named entity recognition using lexicalized hmms. 關於hmm在命名實體識別中的描述。
。關於hmm的教程，比較詳細。
中文分詞 中文分詞及其應用
一 中文分詞原理 中文分詞是指將一個漢字序列切分成一個一個單獨的詞。分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程。現有的分詞方法可分為三大類，分別是基於字串匹配的分詞方法 基於理解的分詞方法和基於統計的分詞方法。一 基於字串匹配的分詞方法 基於字串匹配的分詞方法又稱機械分詞方法，它是按...
bilstm crf中文分詞 多標準中文分詞模型
這是復旦19年6月剛發的文章，初略看一遍，記筆記。chinese word segmentation簡稱cws 將多標準學習引入到cws，不同分詞標準語料共享common knowledge，能夠互相提升 作者提到應該是第一次從頭開始訓練transformer做分詞任務，避免了rnn和cnn的長依賴...
mysql 中文分詞 MySQL 中文分詞原理
一，首先我們來了解一下其他幾個知識點 1.mysql的索引意義？索引是加快訪問表內容的基本手段，尤其是在涉及多個表的關聯查詢裡。當然，索引可以加快檢索速度，但是它也同時降低了索引列的插入，刪除和更新值的速度。換通俗的話來講 mysql中的索引就是一個特殊的平衡二叉樹，當在平衡二叉樹中搜尋某一條值的時...
英文分詞和中文分詞
由於英語的基本組成單位就是詞，所以相對來說簡單很多。大致分為三步 3s 根據空格拆分單詞 split 排除停止詞 stop word 提取詞幹 stemming 1 根據空格拆分單詞 這一步是是最簡單的一步，英語的句子基本上就是由標點符號 空格和詞構成，那麼只要根據空格和標點符號將詞語分割成陣列即可...
最小分詞（中文分詞）
中文分詞一般有下面幾種方法 1 基於字串匹配的分詞方法 1 正向最大匹配法 由左到右的方向 2 逆向最大匹配法 由右到左的方向 3 最少切分 使每一句中切出的詞數最小 這幾種方法一般都是通過 字典 來實現的，比如 中國航天 應邀到美國與太空總署 開會 其中字典如下 中國航天 這樣子 流掃描 中，第一...