robots協議（也 稱為爬蟲協議、機械人協議等）的全稱是「網路爬蟲排除標準」（robots exclusion protocol），**通過robots協議告訴搜尋 引擎哪些頁面可以抓取，哪些頁面不能抓取。陳寶文提醒robots檔名是不能改變的，檔案必須放置在**根目錄才能生效，當搜尋引擎來到**第乙個訪問的頁面就是 robots檔案。
user—agent： 定義搜尋引擎型別（定義robots對哪個搜尋引擎生效）
user—agent：*（定義該協議協議對所有搜尋引擎生效）
disallow：/ data/ （代表著禁止蜘蛛抓取data目錄後所有的頁面）
disallow：/d （代表著data檔案後邊的網頁被遮蔽）
原因：/d和路徑**現的目錄詞是相匹配的的，所以都會被遮蔽掉
disallow：/ *.js$ （遮蔽所有js檔案）
allow：/seojishu/ （代表著seojishu檔案允許被抓取）
如：
蜘蛛日誌分析工具 如何分析蜘蛛日誌？
什麼是蜘蛛日誌？所謂的蜘蛛日誌就是當搜尋引擎向伺服器傳送請求時產生的訪問記錄檔案。每個 都會有日誌檔案，但是很多時候，日誌檔案只有在 出現問題的時候才會被查閱。在seo方面，日誌檔案是更容易被忽略的一塊，但是日誌檔案對於seo來說事非常重要的，我們可以在日誌檔案中獲取各種資訊並發現 存在的一些問題。...
怎麼吸引蜘蛛
1 外鏈吸引蜘蛛 新站靠廣，老站靠質。外鏈的目的就是幫助我們的蜘蛛進入我們的 和引導抓取，讓蜘蛛每天走同一條路，蜘蛛就越熟悉就會越有感情。外鏈越多，蜘蛛就越有興趣，來你的 就會越勤快。也許內容搭建是跟我們蜘蛛剛認識的階段，而外鏈搭建則是我們跟蜘蛛相互影響階段，特別是要找到自己合適的方法，做精做好，p...
遮蔽無用蜘蛛
user agent disallow disallow user agent yisouspider disallow user agent etaospider disallow user agent easouspider disallow user agent youdaobot disal...