第一次聽說google的simhash演算法[1]時，我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值，原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的；如果不相等，除了說明原始內容不相等外，不再提供任何資訊，因為即使原始內容只相差乙個位元組，所產生的簽名也很可能差別極大。從這個意義上來說，要設計乙個hash演算法，對相似的內容產生的簽名也相近，是更為艱難的任務，因為它的簽名值除了提供原始內容是否相等的資訊外，還能額外提供不相等的原始內容的差異程度的資訊。
simhash演算法的輸入是乙個向量，輸出是乙個f位的簽名值。為了陳述方便，假設輸入的是乙個文件的特徵集合，每個特徵有一定的權重。比如特徵可以是文件中的詞，其權重可以是這個詞出現的次數。simhash演算法如下：
11，將乙個f維的向量v初始化為0；f位的二進位制數s初始化為0；
22，對每乙個特徵：用傳統的hash演算法對該特徵產生乙個f位的簽名b。對i=1到f：
3如果b的第i位為1，則v的第i個元素加上該特徵的權重；
4否則，v的第i個元素減去該特徵的權重。
53，如果v的第i個元素大於0，則s的第i位為1，否則為0；
64，輸出s作為簽名。
這個演算法的幾何意義非常明了。它首先將每乙個特徵對映為f維空間的乙個向量，這個對映規則具體是怎樣並不重要，只要對很多不同的特徵來說，它們對所對應的向量是均勻隨機分布的，並且對相同的特徵來說對應的向量是唯一的就行。比如乙個特徵的4位hash簽名的二進位制表示為1010，那麼這個特徵對應的4維向量就是(1, -1, 1, -1)t，即hash簽名的某一位為1，對映到的向量的對應位就為1，否則為-1。然後，將乙個文件中所包含的各個特徵對應的向量加權求和，加權的係數等於該特徵的權重。得到的和向量即表徵了這個文件，我們可以用向量之間的夾角來衡量對應文件之間的相似度。最後，為了得到乙個f位的簽名，需要進一步將其壓縮，如果和向量的某一維大於0，則最終簽名的對應位為1，否則為0。這樣的壓縮相當於只留下了和向量所在的象限這個資訊，而64位的簽名可以表示多達264個象限，因此只儲存所在象限的資訊也足夠表徵乙個文件了。
明確了演算法了幾何意義，使這個演算法直觀上看來是合理的。但是，為何最終得到的簽名相近的程度，可以衡量原始文件的相似程度呢？這需要乙個清晰的思路和證明。在simhash的發明人charikar的**中[2]並沒有給出具體的simhash演算法和證明，以下列出我自己得出的證明思路。
simhash是由隨機超平面hash演算法演變而來的，隨機超平面hash演算法非常簡單，對於乙個n維向量v，要得到乙個f位的簽名(f<11，隨機產生f個n維的向量r1,…rf；
22，對每乙個向量ri，如果v與ri的點積大於0，則最終簽名的第i位為1，否則為0.
這個演算法相當於隨機產生了f個n維超平面，每個超平面將向量v所在的空間一分為二，v在這個超平面上方則得到乙個1，否則得到乙個0，然後將得到的f個0或1組合起來成為乙個f維的簽名。如果兩個向量u, v的夾角為θ，則乙個隨機超平面將它們分開的概率為θ/π，因此u, v的簽名的對應位不同的概率等於θ/π。所以，我們可以用兩個向量的簽名的不同的對應位的數量，即漢明距離，來衡量這兩個向量的差異程度。
simhash演算法與隨機超平面hash是怎麼聯絡起來的呢？在simhash演算法中，並沒有直接產生用於分割空間的隨機向量，而是間接產生的：第k個特徵的hash簽名的第i位拿出來，如果為0，則改為-1，如果為1則不變，作為第i個隨機向量的第k維。由於hash簽名是f位的，因此這樣能產生f個隨機向量，對應f個隨機超平面。下面舉個例子：
假設用5個特徵w1,…,w5來表示所有文件，現要得到任意文件的乙個3維簽名。假設這5個特徵對應的3維向量分別為：
h(w1) = (1, -1, 1)t
h(w2) = (-1, 1, 1)t
h(w3) = (1, -1, -1)t
h(w4) = (-1, -1, 1)t
h(w5) = (1, 1, -1)t
按simhash演算法，要得到乙個文件向量d=(w1=1, w2=2, w3=0, w4=3, w5=0)t的簽名，
先要計算向量m = 1*h(w1) + 2*h(w2) + 0*h(w3) + 3*h(w4) + 0*h(w5) = (-4, -2, 6)t，
然後根據simhash演算法的步驟3，得到最終的簽名s=001。
上面的計算步驟其實相當於，先得到3個5維的向量，第1個向量由h(w1),…,h(w5)的第1維組成：
r1=(1,-1,1,-1,1)t；
第2個5維向量由h(w1),…,h(w5)的第2維組成：
r2=(-1,1,-1,-1,1)t；
同理，第3個5維向量為：
r3=(1,1,-1,1,-1)t.
按隨機超平面演算法的步驟2，分別求向量d與r1,r2,r3的點積:
dtr1=-4 < 0，所以s1=0;
dtr2=-2 < 0，所以s2=0;
dtr3=6 > 0，所以s3=1.
故最終的簽名s=001，與simhash演算法產生的結果是一致的。
從上面的計算過程可以看出，simhash演算法其實與隨機超平面hash演算法是相同的，simhash演算法得到的兩個簽名的漢明距離，可以用來衡量原始向量的夾角。這其實是一種降維技術，將高維的向量用較低維度的簽名來表徵。衡量兩個內容相似度，需要計算漢明距離，這對給定簽名查詢相似內容的應用來說帶來了一些計算上的困難；我想，是否存在更為理想的simhash演算法，原始內容的差異度，可以直接由簽名值的代數差來表示呢？
附參考文獻：
[1] detecting near-duplicates for web crawling.
[2] similarity estimation techniques from rounding algorithms.
[3][4]
simhash演算法的原理
第一次聽說google的simhash演算法 1 時，我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值，原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的 如果不相等，除了說明原始內容不相等外，不再提供任何資訊...
simhash演算法的原理
第一次聽說google的simhash演算法 1 時，我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值，原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的 如果不相等，除了說明原始內容不相等外，不再提供任何資訊...
simhash演算法的原理
第一次聽說google的simhash演算法 1 時，我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值，原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的 如果不相等，除了說明原始內容不相等外，不再提供任何資訊...