搜尋引擎蜘蛛每天是怎麼樣去爬取我們的網的呢？針對這些你有多少的了解？那搜尋引擎蜘蛛的爬取過程又是怎麼樣的呢？在搜尋引擎蜘蛛系統中，待爬取url佇列是很關鍵的部分，需要蜘蛛爬取的網頁url在其中順序排列，形成乙個佇列結構，排程程式每次從佇列頭取出某個url，傳送給網頁**器頁面內容，每個新**的頁面包含的url會追加到待爬取url佇列的末尾，如此形成迴圈，整個爬蟲系統可以說是由這個佇列驅動運轉的。同樣我們的**每天都要經過這樣乙個佇列，讓搜尋引擎進行爬取的。
那麼待爬取url佇列中的頁面url 的排列順序是如何來確定的呢？上面我們說了將新**頁面中的包含的鏈結追加到佇列尾部，這固然是一種確定佇列url順序的方法，但並非唯一的手段，事實上，還可以採納很多其他技術來實現，將佇列中待爬取的url進行排序。那麼究竟搜尋引擎蜘蛛是按照什麼樣的策略進行的爬取呢？以下我們來進行更深入的分析吧。
第一、寬度優化遍歷策略
寬度優化遍歷是一種非常簡單直觀且歷史很悠久的遍歷方法，在搜尋引擎爬蟲一出現就開始採用了。新提出的抓取策略往程式設計客棧往會將這種方法作為比較基準，但應該注意到的是，這種www.cppcns.com策略也是一種相當強悍的方法，很多新方法實際效果不見昨比寬度優化遍歷策略好，所以至今這種方法也是很多實際爬蟲系統優先採用的爬取策略。網頁爬取順序基本是按照網頁的重要性排序的。之所以如此，有研究人員認為，如果某個網頁包含很多入鏈，那麼更有可能被寬度優化遍歷策略早早爬到，而入鏈這個數從ymtusck側面體現了網頁的重要性，即實際上寬度優化遍歷策略隱含了一些網頁優化級假設。
第二、非完全pagerank策略
pagerank是一種著名的鏈結分析演算法，可以用來衡量網頁的重要性。很自然地，可以想到用pagerank的思想來對url優化級進行排序。但是這裡有個問題，pagerank是個全域性性演算法，也就是說當所有網頁**完成後，其計算結果才是可靠的，而爬蟲的目的就是去**網頁，在執行過程中只能看到一部分頁面，所以在爬取階段的網頁是無法獲得可靠的pagerank得分的。對於已經**的網頁，加上待爬取的url佇列中的一url一起，形成網頁集合，在此集合內進行pagerank計算，計算完成之後，將待爬取url佇列裡的網頁按照按照pagerank得分由高低排序，形成的序列就是爬蟲接下來應該依次爬取的url列表。這也是為何稱之為「非完全pagerank」的原因，。
第三、opic策略( online page importance computation)
opic的字面含義是「**頁面重要性計算」，可以將其看做是一種改進的pagerank演算法。在演算法開始之前，每個網際網路頁面都給予相同的現金，每當**了某個頁面p後，p就將自己擁有的現金平均分配給頁面中包含的鏈結頁面，氫自己的現金清空。而對於待爬取url佇列中的網頁，則根據其手頭擁有的現金金額多少排序，優先**現金最充裕的網頁，opic從大的框架上與pagerank思路基本一致，區別在於www.cppcns.com：pagerank每次需要迭代計算，而opic策略不需要迭代過程。所以計算速度遠遠快與pagerank，適合實時 計算使用。同時，pagerank，在計算時，存在向無鏈結關係網頁的遠端跳轉過程，而opic沒有這一計算因子。實驗結果表明，opic是較好的重要性衡量策略，效果略優於寬度優化遍歷策略。
第四、大站優化策略
大部優化策略思路很直接：以**為單位來選題網頁重要性，對於待爬取url佇列中的網頁根據所屬**歸類，如果哪個**等待**的頁面最多，則優化先**這些鏈結，其本質思想傾向於優先**大型**。因為大型**往往包含更多的頁面。鑑於大型**往往是著名企業的內容，其網頁質量一般較高，所以這個思路雖然簡單，但是有一定依據。實驗表明這個演算法效果也要略優先於寬度優先遍歷策略。
第五、網頁更新策略
網際網路的動態是其顯著特徵，隨時都有新出現的頁面，頁面的內容被更改或者本來存在的頁面刪除。對於爬蟲來說，並非將網頁抓取到本地就算完成任務，也要體現出網際網路這種動態性。本地**的網頁可被看做是網際網路頁的映象，爬蟲要盡可能保證其一致性。可以假設一種情況：某 個網頁已被刪除或者內容做出重大變動，而搜尋引擎對此惘然無知，仍然按其舊有內容排序，將其作為搜尋結果提供給用記，其使用者體驗度之糟糕不言而喻。所以對於已經爬取的網頁，爬蟲還要負責保持其內容和網際網路頁面內容的同步，這取決於爬蟲所彩用的網頁更新策略。網頁更新策略的任務是要決定何時重新爬取之前已經**過和網頁，以盡可能使得本地**網頁和網際網路原始頁面內容保持一致。常用的網頁更新策略有三種：歷史參考策略，使用者體驗度策略和聚類抽樣策略。
（1）什麼是歷史參考策略？
歷史參考策略是最直觀的一種更新策略，它建立於如下假設之上：過去頻繁更新的網頁，那麼將來也會頻繁更新，所以為了預估某個網頁何時進行更新，可以通過參考其歷史更新情況來做出決定。
從這一點可以看出，我們**的更新一定要有規律的進行，這樣才能讓搜尋引擎蜘蛛更好的來關注你的**，把握你的**，很多人在更新**的時候，不知道為什麼要做規律性的更新，這就是真正存在的原因。
（2）什麼是使用者體驗度策略？
這個很明顯，大家都知道。一般來說，搜尋引擎使用者提交查詢結果後，相關的搜尋結果可能成千上萬，而使用者沒有耐心去檢視排在後面的搜尋結果，往往只盾前三頁搜尋內容，使用者體驗策略就是利用搜尋引擎使用者的這個特點來設計更新策略的。
（3）聚類抽樣策略
上面介紹的兩種網頁更新策略嚴重依賴網頁的歷史更新資訊，因為這是能夠進行後續計算的基礎。但在現實中為每個網頁儲存歷史資訊，搜尋系統會增加 額外的負擔。從另外乙個角度考慮，如果是首次爬取的網頁，因為沒有歷史資訊，所以也就無法按照這兩種思路去預估其更新週期，聚類抽樣，策略即是為了解決上述缺點而提出的。網頁一般具有一些屬性，根據這些屬性可以**其更新週期，具有相信屬性的網頁，其更新週期也是類似的。
通過以上對搜尋引擎蜘蛛的爬取過程以及爬取策略進行了簡單的了解之後，你是否應該有些考慮了？試著對自己的**進行改變了？以上的一些原因說明了搜尋引擎的更新是有規律以及有章法進行的，要想更能適應搜尋引擎的更新原則和蜘蛛爬取原則，我們就應該從更基礎的入手去進行全面的分析和總結。
本文**：
本文標題: 簡單分析搜尋引擎蜘蛛的爬取策略
本文位址: /news/seo/74852.html
搜尋引擎蜘蛛的抓取策略
這篇文章主要講解搜尋引擎的蜘蛛爬蟲的工作原理，包括它的四種抓取策略。首先呢，搜尋引擎的蜘蛛抓取網頁是有著一定的規律，不會去隨便抓取網頁，並且呢，蜘蛛是通過超連線來抓取網頁的，我們剛剛說了，搜尋引擎有四種抓取網頁的策略，下邊我們一一講解。深度優先 所謂深度優先，就是蜘蛛在乙個頁面中發現第乙個超連結，然...
常見搜尋引擎蜘蛛大全
谷歌 google.com googlebot http www.google.com bot.html 中文版請開啟以下頁面 雅虎 yahoo.com yahoo http misc.yahoo.com.cn help.html 開啟後跳轉到以下頁面 有道 yodao.com yodaobot 搜...
搜尋引擎蜘蛛爬蟲原理
1 聚焦爬蟲工作原理及關鍵技術概述 相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題 1 對抓取目標的描述或定義 2 對網頁或資料的分析與過濾 3 對url的搜尋策略。抓取目標的描述和定義是決定網頁分析演算法與url搜尋策略如何制訂的基礎。而網頁分析演算法和候選url排序演算法是決定搜尋引擎所提供...