常見搜尋引擎機械人Robots名字

搜尋引擎通過一種程式robot（又稱spider），自動訪問網際網路上的網頁並獲取網頁資訊。

您可以在您的**中建立乙個純文字檔案robots.txt，在這個檔案中宣告該**中不想被robot訪問的部分，這樣，該**的部分或全部內容就可以不被搜尋引擎收錄了，或者指定搜尋引擎只收錄指定的內容。

robots.txt（統一小寫）是一種存放於**根目錄下的ascii編碼的文字檔案，它通常告訴網路搜尋引擎的漫遊器（又稱網路蜘蛛），此**中的哪些內容是不能被搜尋引擎的漫遊器獲取的，哪些是可以被（漫遊器）獲取的。因為一些系統中的url是大小寫敏感的，所以robots.txt的檔名應統一為小寫。robots.txt應放置於**的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為，那麼可以將自定的設定合併到根目錄下的robots.txt，或者使用robots元資料。