站長們 你注意過你的robots檔案嗎?

2022-09-26 20:12:11 字數 580 閱讀 4043

googl程式設計客棧e**管理員工具中的「**配置&rdquoaroma;中有一項「抓取工具的許可權」,作用是測試**的robots檔案,其解析結果中詳細列出了檔案中的哪一行命令存在錯誤,下面筆者就通過其負責的齊魯人才網的robots檔案的解析結果來和大家分享一下發現的一些細節錯誤:

從上面的解析結果中看,其robots檔案命令中存在語法錯誤。

分析:(1)2,3,4行的錯誤可以明確程式設計客棧,這段命令是錯誤的,對搜尋引擎是不起作用的,這段命令的作用是為了限制蜘蛛的抓取頻率,當時是為了減輕**伺服器的壓力,現在來看這一點已經不需要考慮了,另一點搜尋引擎的蜘蛛程式可以根據**伺服器的承受能力進行抓取,一般不會因為蜘蛛的爬行給**造成壓力。

(2)第12,32,……,38行的語法錯誤,不是很明確。都是在disallow或者allow的後面出現了兩個?,經仔細分析後發現,出現這類錯誤的命令中使用的是中文的冒號,而不存在語法錯誤的命令使用的是英文的冒號。所以就是因為錯用了中文標點才導致了robots檔案命令**現了多行語法錯誤。

總結,程式設計客棧在robots檔案中應該使程式設計客棧用英文標點,中文標點的使用存在語法錯誤,站長們,你的robots檔案中有中文標點嗎?

本文位址:

個人站長 你關心過你交的稅了嗎

國內的發布者都會面臨乙個問題,那就是廣告主會代扣部分稅,扣稅的比例是按照個人所得稅的比率。儘管很多發布者並不願意這樣,但是由於是強制的,也沒有別的選擇。可是,發布者你關心過你被扣的稅真的上繳了嗎?如果廣告聯盟代扣了發布者的稅而沒有上繳這就不僅是被罵罵是 那麼簡單,而是違反了國家的法律,情節嚴重的話相...

robots 優化你的wordpress部落格

wordpress部落格的robots.txt檔案寫法得根據自身 情況來定,當然我們可以借鑑一些知名 的robots.txt寫法,比如可以看wordpress教程網的robots.txt,可以通過訪問 獲取 以下就以本站為例 user agent disallow wp disallow disal...

奮戰的站長們 免費的東西你知道多少?

站長們做站也真的是很不容易,每天早上起來第一件事看看自己的快照有沒有更新,外鏈有沒有,收錄多了沒,排名上來了沒,每天幸苦的做著,花費的不僅是是時間還有金錢,對於老站長們來說推廣 已經不在是尋找方法,而是維護自己的人脈就可以了。免費的東西對菜鳥站長來說是創業的根本,那這些免費的東西,你知道多少呢?一 ...