前言
人與計算機的互動過程中，如果能提供人類的自然語言形式來進行交流，那麼人與計算機就能更加親密友好。而要實現這一機制就需要自然語言處理來處理，一般來說自然語言處理會涉及幾個學科：電腦科學、語言學、統計學和數學等。
不同語言的自然語言處理也存在差別，對於中文來說，很多時候都無法直接套用英語自然語言處理中相對成熟的理論。有很多基礎工作也是需要我們自己去做，而這包括了中文相似度。
相似度
中文相似度按照長度可以有字與字的相似度、單詞與單詞的相似度、句子與句子的相似度、段落與段落的相似度和文章與文章的相似度。
傳統相似度的衡量計算一般可以使用編輯距離演算法、余弦值法、simhash法、n-gram法、漢明距離法、最長公共子串法、最長公共子串行法等等。
相似度計算方法總的可以歸為兩類，一類是基於統計的方法，一般用於句子段落這些較大粒度文字。另一類是基於語義的方法，一般用於詞語或句子等較小粒度文字。
應用場景
中文相似度應用廣泛，
總結
從某種程度上來說，如果能定義乙個較好的相似度計算方式，並且能有乙個較好的準確性，那麼基本就能解決很多nlp領域文字相關的問題。
**********===廣告時間***************
鄙人的新書《tomcat核心設計剖析》已經在京東銷售了，有需要的朋友可以購買。感謝各位朋友。
為什麼寫《tomcat核心設計剖析》
*************************
自然語言處理（NLP）語義分析 文字相似度
在做自然語言處理的過程中，我們經常會遇到需要找出相似語句的場景，或者找出句子的近似表達，這時候就需要把類似的句子歸到一起，這裡面就涉及到句子相似度計算的問題。句子相似度計算一共歸類了以下幾種方法 下面來一一了解一下這幾種演算法的原理和 python 實現。編輯距離計算 編輯距離，英文叫做 edit ...
NLP 中文文字相似度實戰
原文 1 基於詞向量 余弦相似度,曼哈頓距離,歐幾里得距離,明式距離 是前兩種距離測度的推廣 2 基於字元 編輯距離,simhash 適用於海量資料 共有字元數 有點類似 onehot 編碼,直接統計兩個文字的共有字元數,最 3 基於概率統計 傑卡德相似係數 4 基於詞嵌入模型 word2vec d...
計算文字相似度 最準的中文文字相似度計算工具
向ai轉型的程式設計師都關注了這個號?text2vec,chinese text to vetor.文字向量化表示工具，包括詞向量化 句子向量化 本文相關 獲取 ai專案體驗位址 文字相似度計算 query和docs的相似度比較 result 文字相似度計算 儘管文字相似度計算的基準方法很簡潔，但用...