作者部落格：
網路爬蟲，是在網上進行資料抓取的程式，使用它能夠抓取特定網頁的html資料。雖然我們利用一些庫開發乙個爬蟲程式，但是使用框架可以大大提高效率，縮短開發時間。scrapy是乙個使用python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。
scrapy主要包括了以下元件：
引擎，用來處理整個系統的資料流處理，觸發事務。
排程器，用來接受引擎發過來的請求，壓入佇列中，並在引擎再次請求的時候返回。
蜘蛛，蜘蛛是主要幹活的，用它來制訂特定網域名稱或網頁的解析規則。
專案管道，負責處理有蜘蛛從網頁中抽取的專案，他的主要任務是清晰、驗證和儲存資料。當頁面被蜘蛛解析後，將被傳送到專案管道，並經過幾個特定的次序處理資料。
蜘蛛中介軟體，介於scrapy引擎和蜘蛛之間的鉤子框架，主要工作是處理蜘蛛的響應輸入和請求輸出。
排程中介軟體，介於scrapy引擎和排程之間的中介軟體，從scrapy引擎傳送到排程的請求和響應。
使用scrapy可以很方便的完成網上資料的採集工作，它為我們完成了大量的工作，而不需要自己費大力氣去開發。
官方**：
Python練習 scrapy 爬取汽車之家文章
autohome.py spider檔案 coding utf 8 import scrapy from autohome.items import autohomeitem class autohomespider scrapy.spider name autohome allowed domai...
scrapy 爬取流程
什麼時候到pipeline，什麼 時候到spider這個就不說了，這個是框架跳轉到的流程 關鍵是訪問之前要登入怎麼辦，資料還要注入呢 這是個列表，裡面就是爬取的鏈結了 我們前面爬取就只是寫了乙個，但是其實可以寫多個 鏈結又是怎麼訪問的呢 這東西你就可以手動提取鏈結返回了 這東西你就得好好注意了 從入...
scrapy 爬取小說
速度是相當的快的 爬取整站的 最後結果儲存至mongodb資料庫 pycharm開發還是很好用的 建立專案 scrapy startproject daomubiji 執行專案 scrapy crawl daomubi settings default request headers items t...