磁力搜尋引擎 RunBt

2021-06-29 15:25:40 字數 618 閱讀 5541

一直從事linux伺服器分布式檔案系統的開發,由於經常在btdigg和torrentkitty等磁力搜尋**找資源,於是就有了自己動手寫乙個類似**的衝動,經過了大半年的努力,磁力鏈結搜尋引擎runbt終於完成開發,正式上線了(開發的過程很艱辛,不再詳述,直接說原理:

通過加入dht網路,可以輕鬆的每天獲取百萬的hash值,每個hash值都是由乙個bt種子檔案產生的。

提取bt種子檔名,檔案大小,建立日期等摘要資訊,並通過bt種子檔案計算得到hash值(嘿嘿,有了這個,就有了傳說中的磁力鏈結)。這部分的工作相對容易,只需要對種子檔案格式有詳細的了解即可,網上的相關的文件一大堆。

資料庫最基本的字段包括檔名,檔案列表,檔案大小,建立時間,索引時間,hash值等,但由於檔案數量眾多,設計資料庫時需要考慮效能問題。

這個可以使用任何的開源搜尋引擎(如lucence,sphinx等),使用的過程並不複雜,但需要對搜尋引擎的工作機制有乙個基礎的了解。

我使用的php做前端頁面,目前**已經收錄了2千多萬條資源,幾乎包括所有的電影(最新電影都會第一時間收錄),也有大量的**,軟體等資源,**截圖如下:

搜尋引擎 索引

正排索引 文件編號,單詞編號,單詞的數量,單詞出現的位置。倒排索引 1,單詞詞典,儲存單詞以及統計資訊,單詞在記錄表中的便宜,可常駐記憶體,用雜湊表儲存。2,記錄表,單詞對應的文件集合,記錄單詞出現的數目 位置。文件採用差分變長編碼。其中文件可按編號公升序排列 可利用差分編碼 也可按出現次數排列,可...

MySQL搜尋引擎程式 mysql搜尋引擎

mysql是我們比較常用的一種資料庫軟體。它有著諸多的優點,如開源的,免費的等等。其實它還有乙個很好的特點,那就是有多種引擎可以供你選擇。如果賽車手能根據不同的路況,地形隨手更換與之最適宜的引擎,那麼他們將創造奇蹟。然而目前他們還做不到那樣便捷的更換引擎,但是我們卻可以 所謂知己知彼方可百戰不殆,要...

搜尋引擎 倒排索引

本節通過引入簡單例項,介紹與搜尋引擎索引有關的一些基礎概念,了解這些基礎概念對於後續深入了解索引的工作機制非常重要。3.1.1單詞 文件矩陣 單詞 文件矩陣是表達兩者之間所具有的一種包含關係的概念模型,圖3 1展示了其含義。圖3 1的每列代表乙個文件,每行代表乙個單詞,打對勾的位置代表包含關係。圖3...