user-agent: *
disallow: /?*
disallow: /#*
user-agent: yisouspider
disallow: /
user-agent: etaospider
disallow: /
user-agent: easouspider
disallow: /
user-agent: youdaobot
disallow: /
user-agent: yodaobot
disallow: /
user-agent: jikespider
disallow: /
user-agent: iaskspider
disallow: /
user-agent: yandexbot
disallow: /
user-agent: ahrefsbot
disallow: /
user-agent: ezooms.bot
disallow: /
user-agent: gigabot
disallow: /
user-agent: webalta
disallow: /
user-agent: robozilla
disallow: /
user-agent: mj12bot
disallow: /
user-agent: nhn
disallow: /
user-agent: twiceler
disallow: /
sitemap:
user-agent: *
開始配置所有引擎
disallow: /wap/*.aspx
禁止所有引擎抓取**wap目錄下的字尾為並且包含.aspx的檔案
disallow: /company/browse/
禁止所有引擎抓取**company目錄下的browse目錄
disallow: /uploadfiles
禁止所有引擎抓取**uploadfiles目錄（包含子目錄）
disallow: /css
禁止所有引擎抓取**css目錄（包含子目錄）
disallow: /?*
禁止所有引擎抓取**以?開頭的動態頁面
user-agent: yisouspider
開始配置yisouspider
disallow: /
禁止yisouspider抓取**任何部分
user-agent: etaospider
開始配置etaospider
disallow: /
禁止etaospider抓取**任何部分
user-agent: easouspider
開始配置easouspider
disallow: /
禁止easouspider抓取**任何部分
user-agent: msnbot-media
開始配置msnbot-media
disallow: /
禁止msnbot-media抓取**任何部分
user-agent: msnbot
開始配置msnbot
disallow: /
禁止msnbot抓取**任何部分
user-agent: youdaobot
開始配置youdaobot
disallow: /
禁止youdaobot抓取**任何部分
user-agent: yodaobot
開始配置yodaobot
disallow: /
禁止yodaobot抓取**任何部分
user-agent: bingbot
開始配置bingbot
disallow: /
禁止bingbot抓取**任何部分
user-agent: jikespider
開始配置jikespider
disallow: /
禁止jikespider抓取**任何部分
user-agent: sosospider
開始配置sosospider
disallow: /
禁止sosospider抓取**任何部分
user-agent: iaskspider
開始配置iaskspider
disallow: /
禁止iaskspider抓取**任何部分
user-agent: yahoo! slurp china
開始配置yahoo! slurp china
disallow: /
禁止yahoo! slurp china抓取**任何部分
user-agent: yahoo! slurp
開始配置yahoo! slurp
disallow: /
禁止yahoo! slurp抓取**任何部分
user-agent: yahoo
開始配置yahoo
disallow: /
禁止yahoo抓取**任何部分
user-agent: yandexbot
開始配置yandexbot
disallow: /
禁止yandexbot抓取**任何部分
user-agent: ahrefsbot
開始配置ahrefsbot
disallow: /
禁止ahrefsbot抓取**任何部分
user-agent: ezooms.bot
開始配置ezooms.bot
disallow: /
禁止ezooms.bot抓取**任何部分
user-agent: gigabot
開始配置gigabot
disallow: /
禁止gigabot抓取**任何部分
user-agent: webalta
開始配置webalta
disallow: /
禁止webalta抓取**任何部分
user-agent: sohu-search
開始配置sohu-search
disallow: /
禁止sohu-search抓取**任何部分
user-agent: robozilla
開始配置robozilla
disallow: /
禁止robozilla抓取**任何部分
user-agent: mj12bot
開始配置mj12bot
disallow: /
禁止mj12bot抓取**任何部分
user-agent: nhn
開始配置nhn
disallow: /
禁止nhn抓取**任何部分
user-agent: twiceler
開始配置twiceler
disallow: /
禁止twiceler抓取**任何部分
oracle效能優化操作九 遮蔽無用索引
繼續 oracle 效能優化操作八 的例子 由於實際查詢中，還有涉及到disposalcourseflag 6的查詢，而此時如果用上該字段上的索引，將是非常不明智的，效率也極低。因此這種情況下，我們需要用特殊的方法遮蔽該索引，以便oracle選擇其他欄位上的索引。比如，如果欄位為數值型的就在表示式的...
怎麼遮蔽搜尋引擎蜘蛛抓取網頁收錄
正常情況下做 的話，收錄多，更新多點，對優化有些幫助。可是有些時候，遮蔽搜尋引擎蜘蛛抓取網頁收錄，天外飛仙弄個測試 裡面的資料都是假的，來搞個遮蔽搜尋引擎。1 htaccess遮蔽搜尋引擎蜘蛛的方式對來說更加隱蔽！rewriterule r 301,l 2 通過 robots.txt 檔案遮蔽 可以...
nginx只允許蜘蛛訪問，遮蔽所有人訪問
經過參考這2個網頁 自己得到體會，解決了nginx只允許蜘蛛訪問，真人訪問給其他內容。nginx只允許蜘蛛訪問，遮蔽所有人訪問 解釋 http user agent 簡稱ua，為任意包含，不區分大小寫，如果是不包含，則為 這句話的意思就是如果ua裡不包含baidu,神馬，搜狗，谷歌字元的話，則返回4...