網路爬蟲一

乙個通用的網路爬蟲的框架如圖所示：

網路爬蟲的基本工作流程如下：

在爬蟲系統中，待抓取url佇列是很重要的一部分。待抓取url佇列中的url以什麼樣的順序排列也是乙個很重要的問題，因為這涉及到先抓取那個頁面，後抓取哪個頁面。而決定這些url排列順序的方法，叫做抓取策略。下面重點介紹幾種常見的抓取策略：

1.深度優先遍歷策略

深度優先遍歷策略是指網路爬蟲會從起始頁開始，乙個鏈結乙個鏈結跟蹤下去，處理完這條線路之後再轉入下乙個起始頁，繼續跟蹤鏈結。我們以下面的圖為例：

遍歷的路徑：a-f-g e-h-i b c d

3.反向鏈結數策略

反向鏈結數是指乙個網頁被其他網頁鏈結指向的數量。反向鏈結數表示的是乙個網頁的內容受到其他人的推薦的程度。因此，很多時候搜尋引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先後順序。

在真實的網路環境中，由於廣告鏈結、作弊鏈結的存在，反向鏈結數不能完全等同於網頁的重要程度。因此，搜尋引擎往往考慮一些可靠的反向鏈結數。