網路爬蟲十三佇列處理

所有的url都接受管理，並在此進行流動。url從管理模組的儲存空間開始，一直到最後輸出給磁碟上的url索引，都由此部分排程。

首先，給出url排程的一般過程，如圖所示。

其流程的各個具體操作，後面詳述。

要實現前面dns的無重複有效請求，那麼在這個部分裡設定乙個nsite類，實現這樣的功能：當乙個站點請求過dns後，就把返回的ip儲存到這個類裡，那麼再有這個站點內的url出現（網域名稱部分相同），就可以使用這個ip，而不必重複請求。

為了從乙個url中很快的找到其對應的nsite還應該設定乙個hash表，

裡面存放著所有nsite站點，這樣，乙個url可以通過採用計算其網域名稱的雜湊值就快速的找到對應的站點nsite。如：

namedsite *namedsitelist；

namedsitelist = new namedsite[記憶體中的站點數]；

如果這個站點沒有請求過dns，那麼就加到乙個迴圈佇列dnssite中，隨時等待main( )中對其提出排程。如果有就轉移到ipsite中，如果這個ipsite已經加到了oksite，那麼，就把url打到tab中。隨時等待main( )排程抓取。

void push_surlqueue(surl *url)  
}  url * pop_ourlqueue()  
else   
if (!ourl_queue.empty())   
pthread_mutex_unlock(&oq_lock);  
return url;  
}  }

網路爬蟲十三 佇列處理