當有好多個網域名稱繫結到同一空間上的時候，為了達到優化的目的免不了需要禁止某些網域名稱下的訪問鏈結不被搜尋引擎的蜘蛛抓取到。
.htaccess檔案為我們提供了乙個簡單有效的辦法，具體語句如下：
rewriteengine on然後建立乙個檔案命名格式如robots_網域名稱.txt的檔案，裡面具體內容的寫法如同正常的robots檔案了。rewriterule ^robots.txt$ /robots_%.txt [l]
其原理是當用www.abc.com訪問該**時，生效的robots檔案則為robots_www.abc.com.txt，聰明的你應該已經明白了吧～
怎麼遮蔽搜尋引擎蜘蛛抓取網頁收錄
正常情況下做 的話，收錄多，更新多點，對優化有些幫助。可是有些時候，遮蔽搜尋引擎蜘蛛抓取網頁收錄，天外飛仙弄個測試 裡面的資料都是假的，來搞個遮蔽搜尋引擎。1 htaccess遮蔽搜尋引擎蜘蛛的方式對來說更加隱蔽！rewriterule r 301,l 2 通過 robots.txt 檔案遮蔽 可以...
如何遮蔽搜尋引擎抓取？
作 運營尤其是 排名優化的時候，我們總想著如何來引導搜尋引擎蜘蛛來爬行網頁，收錄。然而，很多時候一些 因為所真對的使用者群體和目標地區不同，並不希望獲得搜尋引擎的光顧，這個時候我們要如何來解決呢？今天和筆者小丹一起來研究一下吧！常見搜尋引擎蜘蛛名稱如下 2 googlebot 谷歌蜘蛛 3 goog...
搜尋引擎蜘蛛的抓取策略
這篇文章主要講解搜尋引擎的蜘蛛爬蟲的工作原理，包括它的四種抓取策略。首先呢，搜尋引擎的蜘蛛抓取網頁是有著一定的規律，不會去隨便抓取網頁，並且呢，蜘蛛是通過超連線來抓取網頁的，我們剛剛說了，搜尋引擎有四種抓取網頁的策略，下邊我們一一講解。深度優先 所謂深度優先，就是蜘蛛在乙個頁面中發現第乙個超連結，然...