一、google
搜尋引擎蜘蛛的等級
首先先談下google
蜘蛛起源。
的運算速率是超前的快。
其內部分為10個pr各等級的小資料庫,雖說小資料庫,但也是大的可怕。10個等級的資料庫 其週期也不同,基本上以乙個pr=4的**來講 1號蜘蛛爬行的概率也在7天一次。所以基本你也會發現收錄有大的幅度也是在7天內的某一天 。
細心的站長會發現其實有時候7天還是蠻準的,但只針對pr=4。越是pr高其週期越是短,越是pr低週期越長,當然說到這很多站長有這樣的疑惑。會 覺得蜘蛛有時天天收錄他的站這裡對其收錄的也就是接下來要說的2號蜘蛛,2號蜘蛛往往是在1號蜘蛛爬行過程中放出去的,主要針對於被1號蜘蛛爬過的**的 外部鏈結。ps既然都說是2號蜘蛛 肯定其抓取力度要比1號小很多。
二、當然不只是有2號,還有3號蜘蛛
所謂3號也就 a站1號蜘蛛爬行到b站,b站的2號蜘蛛爬行到c站。
目前google
為了限制其無限的迴圈對於蜘蛛只分為這三個等級。並對其等級的抓取率有個很明確的標準,而且2號與3號蜘蛛有個抓取特點 基本以時間的先後順序進行抓取。
三、 比方講
a**被1號蜘蛛爬行後的一篇文章最後時間為 2008-12-12,那當a**被從別的**過來的2號蜘蛛給爬行,首先有可能會對其收錄的是,最近發表的幾篇文章如: 2008-5-31等 2008-5-30等文章將會進行第2次,第3次的訪問,之後再爬行2008-12-12以後的資訊。如果你**沒有任何更新,它將對其近乙個月內的更改 內容進行2次爬行。
如果外部來的2號與3號蜘蛛越多,同一篇文章有可能會被爬上好幾次。
以下為google
提供的官方資料。
四、1號蜘蛛
基本抓取率在5%~10%
基於pr=0 沒有任何匯入鏈結與提交時 有可能被抓取的週期在6個月~12個月不等
基於pr=1 沒有任何匯入鏈結與提交時 有可能每次被抓取的週期在4個月~8個月不等
基於pr=2 沒有任何匯入鏈結與提交時 有可能被抓取的週期在2個月~4個月不等
基於pr=3 沒有任何匯入鏈結與提交時 有可能被抓取的週期在1個月~2個月不等
基於pr=4 沒有任何匯入鏈結與提交時 有可能被抓區的週期在1周~1個月不等
最高也只有pr=3
上述此資料只是google
五、2號蜘蛛
基本抓取率是2。5%~5%《基於1號蜘蛛爬行後的資料記錄進行再次採集,對於最後次被採集日期的前後進行再次訪問。
六、3號蜘蛛
基本抓取率為1。25%~2。5%《基於1號蜘蛛與2號蜘蛛爬行後的資料記錄進行再次採集,對於最後次被採集日期的前後進行再次訪問。
目前蜘蛛的等級分為三種,當然蜘蛛有不同的蜘蛛,這裡單單只的是網頁蜘蛛,因為我只對這個感興趣。
intel AMD平台主機板等級分類
intel平台的主板晶元組 市面上常見的有x z b h 4個等級 不同等級搭配的cpu也有所不同 x 級定位發燒級 一般搭配的cpu效能十分強悍,例如目前在售的x299主機板有2066個針腳,可搭配i9 7920x i9 7980xe等處理器使用,昂貴。z 級定位高階級別 是民用級別裡面最高的,支...
api質量等級 潤滑油的API等級分類
柴油機油質量等級分類 一 柴油機油的分類 api 美國石油學會 將汽車發動機油分為 s汽油機油,c柴油機油。c的 含義是commercial 服務 compression 壓燃。柴油機油規格從最初的ca發 展到現在最高檔的 ci 4 分別是 cacb cccd cd ce cfcf cf 4 cg ...
SSL證書等級分類 朱貝貝啊的部落格
ssl證書有保護 的資料傳輸安全和實現伺服器身份驗證的作用,一些企業組織希望使用ssl證書來保護機密性,比如 加密傳輸。還有一些企業組織希望使用ssl 證書來增強其安全認證的可信性,那麼ssl證書等級分類有哪些?1 dv網域名稱驗證型ssl證書 該證書僅審核證書申請人對網域名稱的所有權,電子證書認證...