1. phpdig
phpdig是乙個採用php開發的web爬蟲和搜尋引擎。通過對動態和靜態頁面進行索引建立乙個詞彙表。當搜尋查詢時，它將按一定的排序規則顯示包含關鍵字的搜尋結果頁面。適用於專業化強、層次深的個性化搜尋引擎。
2. sphider
sphider是乙個輕量級，採用php開發的web spider和搜尋引擎，使用mysql來儲存資料。可以利用它來為自己的網站新增搜尋功能。sphider非常小，易於安裝和修改，已經有數千網站在使用它。
3. sphinx
sphinx是乙個基於sql的全文檢索引擎，可以結合mysql、postgresql做全文搜尋，它可以提供比資料庫本身更專業的搜尋功能，使得應用程式更容易實現專業化的全文檢索。
4. openwebspider
openwebspider是乙個php開源多執行緒webspider(crawler：爬蟲，robot：機械人)和包含許多有趣功能的搜尋引擎。目前openwebspider還提供***和pdf檔案支援，以及增強編碼支援等功能。
5. risearch php
risearch php是乙個高效，功能強大的搜尋引擎，特別適用於中小型網站。它檢索非常快，能夠在不到1秒鐘內搜尋5000-10000個頁面。它能幫使用者網站做索引並建立乙個資料庫來儲存網站上所有頁面的關鍵詞以便快速搜尋。
6．aspseek
aspseek是乙個c++編寫的免費開源網際網路搜尋引擎，並使用了stl庫。它主要包括乙個檢索機械人，乙個搜尋守護程式,和乙個搜尋前端(cgi或者是apache模組)。搜尋結果可以限定在給定的時間或站點，站點空間，並按照相關性或者時間進行排序。
開源搜尋引擎
從1992年北京開設第一家辦事處至今，微軟在進入中國15年內進一步本土化的過程中，逐漸制定了與中國軟體產業共同發展，構築 生態系統 的目標。近期，微軟不斷加大同中國軟體產業的合作，其中發展了五家 全球戰略合作夥伴 繼神州數碼 山東浪潮 中軟軟體 創智國際之後，微軟於3月8日找到了第五家 浙大網新。微...
搜尋引擎 網路爬蟲
原文出自 瀏覽器和網路爬蟲是兩種不同的網路客戶端，都以相同的方式來獲取網頁 1 首先，客戶端程式連線到網域名稱系統 dns 伺服器上，dns伺服器將主機 名轉換成ip 位址。2 接下來，客戶端試著連線具有該ip位址的伺服器。伺服器上可能有多個 不同程序程式在執行，每個程序程式都在監聽網路以發現新的選...
搜尋引擎 網路爬蟲
5 多執行緒 主要目的減少cpu資源的浪費 通過網路爬蟲獲取網域名稱，得到網域名稱之後，查詢，對比，存到資料庫中，更新 拿新資訊，將一些訪問量大的資訊存入快取中 6 一般伺服器為30 40個執行緒 7 seo 搜尋排名優化技術 8 執行緒池 代替我們管理執行緒，相當於乙個執行緒框架，執行緒池中有乙個...