**結構一般情況下可以簡化為乙個樹狀
在大規模爬蟲系統中，待抓取url佇列是很重要的一部分，佇列順序也是很重要的內容；爬蟲演算法就是用於決定抓取先後順序的。
下文將介紹目前常用的演算法：
一般通過遞迴實現；
缺點在於部分網頁深度太深而效率較低或繞不出來了；
scrapy預設使用深度優先；
使用佇列實現；
上述兩種方法是最基礎的遍歷，下面幾種方法都是對網頁內容進行分析來決定鏈結的優先順序；
反向鏈結數是指乙個網頁被其他網頁鏈結指向的數量。反向鏈結數表示的是乙個網頁的內容受到其他人的推薦的程度。因此，很多時候搜尋引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先後順序。
在真實的網路環境中，由於廣告鏈結、作弊鏈結的存在，反向鏈結數不能完全等他我那個也的重要程度。因此，搜尋引擎往往考慮一些可靠的反向鏈結數。
基本方法是每抓取乙個頁面，就重新計算pagerank值，但效率太低；
爬蟲筆記 初始爬蟲（二）
什麼是爬蟲？爬蟲是什麼呢，一般說的爬蟲都是網路爬蟲。那什麼是網路爬蟲呢？網路爬蟲 又被稱為網頁蜘蛛，網路機械人，在foaf社群中間，更經常的稱為網頁追逐者 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻 自動索引 模擬程式或者蠕蟲。總結來說就是一句話，...
Python筆記 爬蟲
用到的庫 urllib。在python3.x中 urlretrieve函式也在urllib.request下，因此只需要匯入request即可。from urllib import request基本的思路是 用request.urlopen 開啟網頁 url.read decode 得到網頁原始碼...
爬蟲專案筆記
爬蟲分為垂直爬蟲 全網爬蟲兩種 爬蟲的基礎架構 資料解析 資料解析技術分別有四種 dom 最原始最基礎需要將所有資訊都載入到記憶體裡對記憶體消耗比較大，如果xml檔案比較大，容易影響解析的效能，可能會造成記憶體溢位。應用程式通過dom介面，應用程式在任何時候都能訪問xmlwendan文件中的任何資料...