wordpress部落格的robots.txt檔案寫法得根據自身**情況來定，當然我們可以借鑑一些知名**的robots.txt寫法，比如可以看wordpress教程網的robots.txt,可以通過訪問： 獲取
以下就以本站為例：
user-agent: *
disallow: /wp-
disallow: /?
disallow: /feed/
disallow: /*/feed/
disallow: /trackback/
disallow: /*/trackback/
disallow: /page/
disallow: /a-category/*/page/
disallow: /a-tag/*/page/
sitemap:
下面詳細解釋下每行規則的含義：
站長們 你注意過你的robots檔案嗎？
googl程式設計客棧e 管理員工具中的 配置 rdquoaroma 中有一項 抓取工具的許可權 作用是測試 的robots檔案，其解析結果中詳細列出了檔案中的哪一行命令存在錯誤，下面筆者就通過其負責的齊魯人才網的robots檔案的解析結果來和大家分享一下發現的一些細節錯誤 從上面的解析結果中看，其...
站點下的robots
面試某軟，被面試官問道 你做爬蟲。知不知道非常多站點下都有個robots檔案？答曰 不知。於是面試官給我演示了一遍 遂卒。首戰慘敗。下來查了維基百科。基本了解robots。比方必應搜尋www.bing.com的根資料夾下有這麼乙個檔案 其內容例如以下 user agent msnbot media ...
爬蟲的Robots協議
開發者對於網路爬蟲的規範的公告,你可以不遵守可能存在法律風險,但盡量去遵守 robots協議 在網頁的根目錄 robots.txt 如www.baidu.com robots.txt robots協議的基本語法 代表所有,代表根目錄 user agent user agent代表 allow 代表執...