開源專案,大家一起分享技術
該專案面向的使用者群體為固定
ftp與私人
ftp並存各類大中型區域網的
ftp資源使用者,特別適合在大學校園中使用。
在內網中使用
ftp搜尋引擎,不但可大大加快區域網內資源搜尋與定位速度,減少使用者大海撈針的苦惱使使用者能夠在短時間內尋找到所需資源,而且又能提高區域網中資源的使用率,減少對外流量開支。
該專案能為在指定
ip範圍內進行
ftp伺服器搜尋並將伺服器端檔案目錄資訊進行分類整理並為使用者提供以
b/s形式的檔案搜尋服務的
ftp搜尋引擎。
專案分前台與後台兩部分,前台為
b/s形式的檔案搜尋服務,使用
visual studio 2005 以c#
及vb.net
進行開發。後台為
ftp伺服器搜尋及整理程式,使用
borland develpor
以c++
語言進行開發。資料使用
sql server 2005
進行儲存。整個專案將在
widows server 2003
上執行。
多模組多執行緒控制及模組執行緒容錯控制技術
搜尋引擎針對的網路搜尋中,需要處理的資料量大,處理時間長,由此,軟體採取多模組多執行緒協同計算的工作模式方來滿足實際應用,且搜尋引擎的採用演算法效率高、占用資源小,並同時能滿足大規模、大資料量的計算。
此系統能保持長時間的穩定執行,以系統服務的形式執行,並且帶有良好的容錯功能,能在軟體內部某些模組出現錯誤的情況下將模組隔離,使得區域性的錯誤不會影響到整個軟體系統的執行。
伺服器集群分布式協同工作控制技術(未完成)
為了解決針對較大型區域網或都會網路進行資源搜尋時資料處理量特別大,網路環境更加複雜。單靠一台引擎伺服器無法完成任務。我們採用了伺服器集群分布式協同工作技術,利用多台伺服器分成不同的網格節點,每個節點處理乙個網段資源的方式來完成工作任務。只要在控制台啟動集群控制模式,新增引擎伺服器節點。控制台便可以統一管理各個節點協調工作,將任務分配到各個節點上,共同完成整個網路的搜尋任務,對於管理員來說這些節點任務分配,協調工作都是透明的,和控制一台引擎伺服器沒什麼分別。
命令指令碼控制技術(未完成)
系統執行於遠端的伺服器,軟體帶有能強大的、靈活的、方便的遠端控制方式。在遠端控制該軟體時,我們定義了一套通訊命令使得搜尋引擎管理員能夠利用命令靈活的控制軟體的執行,設定軟體的執行任務,檢視執行狀態,並能以通訊命令為基礎編寫其指令碼來使用搜尋引擎運作。同時,在設計系統時候亦提供了一套服務管理軟體使得管理員能輕鬆的生成配置指令碼以達到輕鬆控**務程式的要求。
中文語句分詞技術
在前台搜尋效率方面,在解決搜尋效率問題上,我們採用了逆向最大匹配分詞法等先進的分詞演算法,使得在處理使用者輸入資料及查詢效能得到極大的提高。
基於aes
原理及ssl
安全控制原理的資料加密和安全隧道建立技術
該系統提供服務管理器程式能夠對網路中的多台搜尋伺服器進行方便、快捷、高效、靈活的管理、配置、監控。同時軟體具有防止攻擊、防止資料報截獲、破解等功能,且在伺服器端儲存的檔案亦進行加密處理。為了將安全性做到最好,我們通過
aesssl
的安全隧道建立技術以防止黑客攻擊、破解。以達搜尋引擎管理員在遠端連線伺服器端傳送資料時包含的敏感資料進行保護的需求。
此專案將作為開源專案即將公布軟體 和原始碼,有意者可留意bism的blog,或本blog
用C 實現FTP搜尋引擎
晚輩最近用c 寫了乙個教育網ftp搜尋引擎,希望能得到高手的指點。部分 using system using softplib using system.threading using system.collections using system.net using system.net.sock...
搜尋引擎 索引
正排索引 文件編號,單詞編號,單詞的數量,單詞出現的位置。倒排索引 1,單詞詞典,儲存單詞以及統計資訊,單詞在記錄表中的便宜,可常駐記憶體,用雜湊表儲存。2,記錄表,單詞對應的文件集合,記錄單詞出現的數目 位置。文件採用差分變長編碼。其中文件可按編號公升序排列 可利用差分編碼 也可按出現次數排列,可...
MySQL搜尋引擎程式 mysql搜尋引擎
mysql是我們比較常用的一種資料庫軟體。它有著諸多的優點,如開源的,免費的等等。其實它還有乙個很好的特點,那就是有多種引擎可以供你選擇。如果賽車手能根據不同的路況,地形隨手更換與之最適宜的引擎,那麼他們將創造奇蹟。然而目前他們還做不到那樣便捷的更換引擎,但是我們卻可以 所謂知己知彼方可百戰不殆,要...