具體的**非常簡單，只需要在你的網頁和之間插入一句：
其中的屬性值可以按照要求從下面四選一：
此外，還可以使用此句**禁止搜尋引擎為你的網頁建立快照，方法是在屬性值裡面增加乙個noarchive即可，因此，完整的**示例演示如下：
意思即禁止所有搜尋引擎抓取本頁面，但是可以通過本頁面的鏈結去抓取別的頁面，同時還禁止為本頁面建立網頁快照。
如果你只是想禁止某乙個搜尋引擎，那寫非常簡單，只需要將**中的 robots 替換成對應搜尋引擎的代號即可,如下：
google蜘蛛： googlebot
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
有道蜘蛛：yodaobot和outfoxbot
搜狗蜘蛛：sogou spider
soso蜘蛛：sosospider
禁止google訪問的**是
＜meta name=」googlebot」 content=」noindex,nofollow」＞
meta標籤的robots
robots代表告訴搜尋引擎機械人抓取哪些頁面
其中的屬性說明如下：
資訊引數為index：檔案將被檢索；
遮蔽百度等所有搜尋引擎蜘蛛方法加meta標籤
具體的 非常簡單，只需要在你的網頁和之間插入一句 其中的屬性值可以按照要求從下面四選一 1.content index,follow 可以抓取本頁，而且可以順著本頁繼續索引別的鏈結 2.content noindex,follow 不許抓取本頁，但是可以順著本頁抓取索引別的鏈結 3.content ...
百度搜尋引擎蜘蛛ip分析
123.125.68.這個蜘蛛經常來,別的來的少,表示 可能要進入沙盒了，或被者降權。220.181.68.每天這個ip 段只增不減很有可能進沙盒或k站。121.14.89.這個ip段作為度過新站考察期。203.208.60.這個ip段出現在新站及站點有不正常現象後。210.72.225.這個ip段...
百度，google，雅虎等搜尋引擎的高階搜尋語法
要想學好seo，那麼我們就先從最基的搜尋引擎語法學起，以下整理 雅虎 google三大搜尋引擎的搜尋高階語法及應用。搜尋高階語法 1 把搜尋範圍限定在網頁標題中 i程式設計客棧ntitle 網頁標題通常是對網頁內容提綱挈領式的歸納。把查詢內容範圍限定在網頁標題中，有時能獲得良好的效果。使用的方式，是...