搜尋引擎的蜘蛛程式目錄索引工作原理

要進行搜尋引擎優化，首先要知道搜尋引擎是如何工作的，只有知道搜尋引擎是如何工作的以後，才能更好的進行優化工作，做出對於搜尋引擎更加友好的**，這樣才會有好的排名。

搜尋引擎最主要的由三部分組成：蜘蛛程式、索引和軟體。下面我們拿google舉例。

google的蜘蛛程式分為主蜘蛛和從蜘蛛，當google全面更新資料庫或收錄新**時，派出主蜘蛛，對**進行全面的索引（如收錄新頁、重新確定網頁級別等）；當google對**日常更新時，派出從蜘蛛，對**內容進行維護。當發現頁面有變化時，其從蜘蛛對此頁面進行更新，重新抓取內容。蜘蛛程式會根據乙個固定的週期回訪其目錄中的站點，尋找更新。至於爬行程式回訪的頻率，這要由搜尋引擎確定。**擁有者通過採用乙個名為robot.txt的檔案確實能控制爬行程式訪問這個站點的頁面。搜尋引擎在進一步爬行乙個**之前首先檢視這個檔案。