相似URL判定及字串相似度距離

edit distance缺點基於結構來判斷url相似度，去掉數字。字串是否也需要去掉自身只保留結構，或者保留存在長度的結構，可以根據情況來靈活取捨。

抽象一下特徵

1、站點特徵：如果兩個url站點一樣，則特徵取值1，否則取值0；

2、目錄深度特徵：特徵取值分別是兩個url的目錄深度是否一致；

3、一級目錄特徵：在這維特徵的取值上，可以採用多種方法，比如如果一級目錄名字相同則特徵取1，否則取0；或者根據目錄名字的編輯距離算出乙個特徵值；或者根據目錄名字的pattern，如是否數字、是否字母、是否字母數字穿插等。這取決於具體需求，這裡示例僅僅根據目錄名是否相同取1和0；

4、尾頁面特徵：這維特徵的取值同一級目錄，可以判斷字尾是否相同、是否數字頁、是否機器生成的隨機字串或者根據編輯長度來取值，具體也依賴於需求。這裡示例僅僅判斷最後一級目錄的特徵是否一致（比如是否都由數字組成、是否都有字母組成等）。

simhash+漢明距離

pip install python-levenshtein

import levenshtein
str1="abc"
str2="bac"

乙個字串轉化成另乙個字串最少的操作次數(包括插入、刪除、替換)

print levenshtein.distance(「abc」,」ac」)

要求str1和str2必須長度一致兩個等長字串之間對應位置上不同字元的個數

print levenshtein.hamming(str1, str2)

計算公式 r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的長度總和，ldist是類編輯距離刪除、插入依然+1，但是替換+2

print levenshtein.ratio(str1, str2)

print levenshtein.jaro(str1, str2)

print levenshtein.jaro_winkler(str1, str2)