spider又叫webcrawler或者robot，是乙個沿著鏈結漫遊web 文件集合的程式。它一般駐留在伺服器上，通過給定的一些url，利用http等標準協議讀取相應文件，然後以文件中包括的所有未訪問過的url作為新的起點，繼續進行漫遊，直到沒有滿足條件的新url為止。webcrawler的主要功能是自動從internet上的各web 站點抓取web文件並從該web文件中提取一些資訊來描述該web文件，為搜尋引擎站點的資料庫伺服器追加和更新資料提供原始資料，這些資料報括標題、長度、檔案建立時間、html檔案中的各種鏈結數目等
簡而言之，網路蜘蛛就是根據一系列既定規則或自動識別獲取網際網路資源的程式。
簡單的蜘蛛=規則+程式，規則是指其思維邏輯，程式是指獲取識別資源的程式。
網路蜘蛛的規則可以是單一的，也可以是一系列的；可以是特定的，也可以是泛指的；可以是具體的，也可以是模糊的定義。不管是何種形式形態出現，其一般是提前設定好的。自動識別建立規則、自我學習的網路蜘蛛，就像「永動機」一樣吸引人。在當下，還是不太可能的。試想一下，如果這種擁有「自我意識」的網路蜘蛛實現了，那也意味著「自主學習」的機械人雛形也真正實現了...
雖然「自我學習」還遙不可及，但是關於類似的研究實驗卻是一直在進行，比如機器學習、深度學習等等。通常學習一樣東西，先從基本的入手。千里之行始於足下。那麼網路蜘蛛的基本規則是怎麼樣的，它的思維邏輯是什麼？
1）連線特定位址，獲取網際網路資源；
2）分析處理**資源；
3）識別符合規則的實體並儲存；
4）獲取其他關聯位址，如果存在繼續執行1），否則5）；
5）儲存退出。
從上面看出，網路蜘蛛的難點在於3）和4）中的規則：一是目標實體的規則，二是關聯位址的規則。目標規則是網路蜘蛛的最終目的，蜘蛛根據目標規則從資源內容中識別出最終目標，完成基本任務。而位址規則是其網路連續性的基本。網路蜘蛛根據位址規則，從當前資源內容中提取單一或系列相關聯的資源位址，選取有效位址，繼續執行基本任務。當再也無法獲取有效的關聯位址，並且遍歷當前所有有效資源源位址時，網路蜘蛛的生命週期也就結束。掌握這兩個關鍵點，也就基本理解網路蜘蛛的內容。
網路蜘蛛Spider簡介
與網路蜘蛛 網路蜘蛛需要抓取網頁，不同於一般的訪問，如果控制不好，則會引起 伺服器負擔過重。今年4月，http www.taobao.com 2004年5月15日的搜尋引擎訪問日誌 網路蜘蛛進入乙個 一般會訪問乙個特殊的文字檔案robots.txt，這個檔案一般放在 伺服器的根目錄下，內容提取 更新...
對Spider網路蜘蛛的理解
spider，網路蜘蛛，又叫網路機器，它是搜尋引擎的主要模組 網路蜘蛛負責抓取網路上的網頁資料，再通過分詞技術對網頁資料建立索引，然後對網頁根據一些相關性排序。基本原理 spider通過網頁上的鏈結從乙個網頁 一般是首頁 訪問到另乙個網頁，從而實現對整個網路的資料收集。其實是把網狀轉變成樹形去遍歷，...
如何檢視spider蜘蛛是否來過你的站 3
這個可以從你伺服器或者虛擬主機的日誌中看出來，比如我用的站的www.com edu.cn的完整使用日誌中有這樣的記錄 iis日誌檔案位置 c windows system32 logfiles w3svc xx exyymmdd.log 這就說明蜘蛛來過我的站了，如果你還想知道有沒有其它搜尋引擎的蜘...