scrapy，python開發的乙個快速、高層次的螢幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的資料。scrapy用途廣泛，可以用於資料探勘、監測和自動化測試。
scrapy吸引人的地方在於它是乙個框架，任何人都可以根據需求方便的修改。它也提供了多種型別爬蟲的基類，如basespider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支援。
**寫好，程式開始執行…
spider：老大要我處理***x.com。
引擎：你把第乙個需要處理的url給我吧。
spider：給你，第乙個url是******x.com。
引擎：hi！排程器，我這有request請求你幫我排序入隊一下。
排程器：好的，正在處理你等一下。
引擎：hi！排程器，把你處理好的request請求給我。
排程器：給你，這是我處理好的request
spider：（處理完畢資料之後對於需要跟進的url），hi！引擎，我這裡有兩個結果，這個是我需要跟進的url，還有這個是我獲取到的item資料。
引擎：hi ！管道
我這兒有個item你幫我處理一下！排程器！這是需要跟進url你幫我處理下。然後從第四步開始迴圈，直到獲取完老大需要全部資訊。
管道「排程器：好的，現在就做！
python程式設計篇之爬蟲 五
import urllib.request import re defgetcontent url,page 模擬成瀏覽器 opener urllib.request.build opener opener.addheaders headers 將opener安裝為全域性 urllib.reques...
Python爬蟲之PyQuery使用（六）
pyquery能夠通過選擇器精確定位 dom 樹中的目標並進行操作。pyquery相當於jquery的python實現，可以用於解析html網頁等。它的語法與jquery幾乎完全相同，對於使用過jquery的人來說很熟悉，也很好上手。有 4 種方法可以進行初始化 可以通過傳入 字串 lxml 檔案 ...
python亂碼問題之爬蟲篇
使用下面的 有的時候會報錯，說什麼gbk無法解碼.原因是output的預設編碼跟隨系統，utf 8的字元gbk有可能不認識於是報錯 from urllib.request import request from urllib.request import urlopen url data none ...