如何遮蔽搜尋引擎抓取？

作**運營尤其是**排名優化的時候，我們總想著如何來引導搜尋引擎蜘蛛來爬行網頁，收錄。然而，很多時候一些**因為所真對的使用者群體和目標地區不同，並不希望獲得搜尋引擎的光顧，這個時候我們要如何來解決呢？今天和筆者小丹一起來研究一下吧！

常見搜尋引擎蜘蛛名稱如下：

2、googlebot 谷歌蜘蛛

3、googlebot-image 專門用來抓取的蜘蛛

4、mediapartners-google 廣告聯盟**的蜘蛛

5、yahoo slurp 雅虎蜘蛛

6、yahoo! slup china 雅虎中國蜘蛛

7、yahoo!-adcrawler 雅虎廣告蜘蛛

8、yodaobot 網易蜘蛛

10、sogou spider 搜狗綜合蜘蛛

11、msnbot live 綜合蜘蛛

但，如果你要遮蔽所有的搜尋引擎，那麼就要使用robot檔案了：。

到這裡很多朋友獲取應該明白了，在**中禁止建立網頁快照的命令是noarchive。所以，如果我們對於搜尋引擎有限制，就根據自己的禁止快照物件，將**加在網頁的直接即可；反之，在不要新增任何一條**，就可以保證各大搜尋引擎能夠正常訪問**並且建立快照。